ETL可视化工具 DataX -- 安装部署 ( 二)

原创

已于 2024-06-17 21:20:31 修改 · 1k 阅读

标签

#etl #数据仓库 #datax #数据同步工具

于 2024-06-14 09:00:38 首次发布

引言

DataX 系列文章：

DataX 私有仓库：

https://gitee.com/dazhong000/datax.git
https://gitee.com/dazhong000/datax-web.git
本地地址：E:\soft\2023-08-datax

2.1 DataX安装

安装文档 git地址：https://github.com/alibaba/DataX/blob/master/userGuid.md

2.1.1 解压安装

方法一、直接下载DataX工具包：
下载地址（https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz）
下载后解压至本地某个目录，进入bin目录，即可运行同步作业：

$ cd  {
   
   YOUR_DATAX_HOME}/bin
$ python datax.py {
   
   YOUR_JOB.json}

自检脚本：

python {
   
   YOUR_DATAX_HOME}/bin/datax.py {
   
   YOUR_DATAX_HOME}/job/job.json

方法二、下载DataX源码，自己编译：
DataX源码

(1)、下载DataX源码：

$ git clone git@github.com:alibaba/DataX.git

(2)、通过maven打包：

$ cd  {
   
   DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
打包成功，日志显示如下：
[INFO] BUILD SUCCESS
[INFO] -----------------------------------------------------------------
[INFO] Total time: 08:12 min
[INFO] Finished at: 2015-12-13T16:26:48+08:00
[INFO] Final Memory: 133M/960M
[INFO] -----------------------------------------------------------------

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ，结构如下：

$ cd  {
   
   DataX_source_code_home}
$ ls ./target/datax/datax/
bin        conf        job        lib        log        log_perf    plugin        script        tmp

2.1.2 配置示例从stream读取数据并打印到控制台

第一步、创建作业的配置文件（json格式）

可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}

$ cd  {
   
   YOUR_DATAX_HOME}/bin
$  python datax.py -r

最低0.47元/天解锁文章