oracle导入导出&hive交互

最新推荐文章于 2026-05-01 06:08:11 发布

原创

最新推荐文章于 2026-05-01 06:08:11 发布 · 1.7k 阅读

标签

#oracle

收录于

这是一个用于从Oracle数据库导出数据并将其加载到Hive的shell脚本。脚本首先导出Oracle表的数据，然后根据表结构创建Hive表，并将数据加载到Hive中。使用了sqlplus进行数据导出，通过处理Oracle表的DDL来适应Hive的表结构。

#!/bin/ksh
# ./oracle_hive.sh -s srcname -p oo|oh
#  sh /home/oracle/bin/oracle_hive.sh -s LTE_DT_RAWDATA_GRID10 -p oo
export NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK"
if [ $# -ne 4 ]; then
    echo "please input param: $0 -s tabname -p oo|oh"
    exit -1
fi    
# get paramsfi
while [ $# -ne 0 ] ; do
		if [ x$1 == "x-s" ] ; then
				shift
				tabname=$1
				shift
		elif [[ x$1 == "x-p" ]]; then
		    shift
		    synctype=$1
		    shift
		else
		   # print_trace "Unrecorgnized prarmter $1, ignore. "
		    shift
		fi
done
currenttimestamp=$(date +%Y%m%d%H%M%S)
procdate=$(date +%Y%m%d)
monthid=`expr substr ${procdate} 1 6 `
LOG_PATH="/opt/datasync/log/${procdate}"
if [ ! -d "$LOG_PATH" ]; then
		mkdir -p $LOG_PATH
fi
function WRITE_LOG(){
		log_info=$1
		echo "[`date +%F\ %T`]:     $log_info" >> ${LOG_PATH}/${tabname}.${procdate}.log
		echo $log_info
}
function oracle_export(){
		# v_LTE_PROVINCE
		tnam