基于dolphinscheduler的增量数据同步至hive分区表

前言

本文主要介绍dolphinsccheduler集成datax以及hive后增量数据的集成问题

提示：以下是本篇文章正文内容，下面案例可供参考

一、创建新的hive分区表

1.外部分区表sql准备

示例：创建外部表

CREATE EXTERNAL TABLE `repair_bi`(
	`id` INT COMMENT 'id', 
	`product_order_id` STRING COMMENT '产品序列号', 
	`RMA_id` STRING COMMENT 'RMA单号')
 COMMENT 'This is the repair table'
 partitioned by(`statis_date` string)
 ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
 STORED AS TEXTFILE
 LOCATION 'hdfs://nncluster/hivedata/repairdata/repair/'

2.创建工作流

3、将sql语句写入工作流中

4、保存选择租户，上线运行

5、任务实例中查看运行状态，状态：成功 即创建成功，可以通过hive的beeline客户端执行如下命令查看表创建详情

show create table repair_bi;

二、hive分区表创建好后需要增加分区，使用shell命令创建分区

注：本次使用shell工作流的原因是，dolphinscheduler集成的sql组件中在定位分区文件位置时候路径会解析错误。（也可能是我自己的问题没有找到正确的使用方式，但是sql在beeline中执行确实没问题）

1、添加每天的定时增加分区任务

创建hql文件并将hql文件上传至资源中心