【技术调研报告】DataX 离线异构数据同步框架

最新推荐文章于 2026-05-17 16:25:25 发布

原创

最新推荐文章于 2026-05-17 16:25:25 发布 · 974 阅读

标签

#DataX

本文介绍了DataX作为阿里巴巴的离线数据同步工具，用于在不同异构数据源间进行数据同步，包括MySQL、HDFS、Hive等。在Ubuntu环境下，详细阐述了如何搭建DataX、Hadoop和Hive的环境，以及如何配置DataX进行数据脱敏。在使用DataX过程中遇到的问题，如Hive查询不到数据，通过fileName与text_table匹配解决。

DataX 数据脱敏平台

开发与实验中国大陆谨慎参考单机并发
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

以星型结构进行数据传输。

环境搭建

软件和环境一览

DataX 主机: Ubuntu 16.04 1Ghz CPU 1GB RAM

openjdk version “1.8.0_162”
DataX

数据接收主机: Ubuntu 16.04 1Ghz CPU 1GB RAM

openjdk version “1.8.0_162”

sudo apt-get install openjdk-8-jdk
apache-hive-1.2.2

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/stable/apache-hive-1.2.2-bin.tar.gz

tar -zxvf apache-hive-1.2.2-bin.tar.gz
hadoop-2.9.0

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
tar -zxvf hadoop-2.9.0.tar.gz
MySQL Server 5.7.21
1. sudo apt-get install mysql-server
2. apt-get install mysql-client
3. sudo apt-get install libmysqlclient-dev

请参考官方介绍

Hadoop 相关配置

安装参考网页

至于是集群还是SingleCluster请自选

这一步需要耐心，认真配置

DataX 相关配置

作业文件 mysqlToHDFS.json
请认真参阅：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

请有意识地针对你自己的机器修改数据库名和表名
{
    "job": {

最低0.47元/天解锁文章