1. 概述DataX 是阿里巴巴开源的异构数据源离线同步工具致力于实现 MySQL、Oracle、HDFS、Hive、HBase、FTP 等各种异构数据源之间稳定高效的数据同步。在阿里内部每天完成超过 8 万个同步作业日传输数据量超过 300TB。核心定位离线、批量、异构数据源之间的数据搬运。与 Maxwell 等实时 CDC 工具互补是数仓 ETL 链路中离线同步的核心组件。2. 核心架构设计2.1 星型数据链路传统的 N 种数据源两两同步需要 N*(N-1)/2 条链路复杂度随数据源数量指数增长。DataX 的解法是引入中间抽象层将网状链路简化为星型结构每种数据源只需开发一个Reader 插件负责读和一个Writer 插件负责写任意两种数据源之间的同步只需组合对应的 Reader 和 Writer 即可复杂度从 N*(N-1)/2 降至 NN新增数据源只需开发插件无需改动框架。2.2 Framework Plugin 架构DataX 采用框架 插件的分层设计层次职责Framework框架层任务切分、调度、并发管理、流量控制、数据一致性保障、监控统计Reader Plugin读插件从源数据源读取数据转换为 DataX 内部的 Record 标准格式Channel通道连接 Reader 和 Writer 的内存数据传输通道负责缓冲和流控Writer Plugin写插件从 Channel 读取 Record转换为目标数据源格式并写入插件与框架完全解耦插件开发者只需关注数据源读写逻辑复杂的并发调度由框架统一处理。3. 作业执行生命周期一个 DataX 同步作业Job从提交到完成经历以下阶段3.1 Job → Task → TaskGroup概念说明Job用户提交的一个完整同步作业是作业的中枢管理节点TaskJob 的最小执行单元。框架根据分片策略如按主键范围将 Job 拆分为多个 Task 并发执行TaskGroup一组 Task 的集合。框架将 Task 按并发数重新分组每个 TaskGroup 以固定并发度运行其所有 Task调度示例用户配置 20 个并发通道同步 100 张分表 → Job 切分为 100 个 Task → 计算需要 4 个 TaskGroup每组 25 个 Task并发度 5。3.2 单个 Task 的执行模型每个 Task 内部固定启动两条线程ReaderThread → Channel内存Buffer → WriterThread (生产者) (通道) (消费者)ReaderThread通过 Reader 插件从源端读取数据封装为 Record 写入 ChannelWriterThread从 Channel 取出 Record通过 Writer 插件写入目标端Channel基于内存队列实现协调读写速率防止数据积压或空转3.3 完整执行流程初始化Engine 创建 JobContainer加载读写插件准备插件检查数据源连接、权限、表结构切分Job 根据分片策略拆分为多个 Task调度Task 组装为 TaskGroup分配到线程池并发执行执行每个 Task 启动 Reader → Channel → Writer 流水线收尾执行后置脚本汇总统计成功/失败/耗时/数据量释放资源4. 插件体系DataX 目前支持的数据源覆盖主流 RDBMS、NoSQL、大数据存储和文件类系统类型数据源ReaderWriter关系型数据库MySQL、Oracle、SQLServer、PostgreSQL、DRDS、达梦✅✅大数据存储HDFS、Hive、HBase、ODPS✅✅NoSQLMongoDB、OTS、Elasticsearch✅✅文件类TxtFile、FTP、OSS✅✅其他通用 RDBMS支持所有关系型数据库✅✅如果内置插件无法满足需求可以按照 DataX 插件开发规范自定义 Reader/Writer。5. 关键特性特性说明多线程并发单机多线程模式通过 channel 数控制并发度大任务拆分为多 Task 并行进程内通信Reader/Writer 在同一进程内通过内存 Channel 传输无网络开销流量控制支持按字节流/记录流限速避免对线上数据库造成压力容错机制支持线程级重试可配置脏数据容忍阈值记录数或百分比配置化只需编写 JSON 配置文件定义 reader、writer 和 setting无需编码零侵入以外部工具形式运行不在数据源安装任何代理或插件监控统计运行时输出传输速度、读写行数、耗时等详细指标6. 典型应用场景场景说明数仓 ODS 层导入将业务数据库MySQL/Oracle批量同步到 HDFS/Hive作为数仓原始数据层异构数据库迁移MySQL → Oracle、Oracle → PostgreSQL 等跨数据库类型的数据迁移周期性数据同步配合调度系统DolphinScheduler/Azkaban定时执行实现 T1 离线同步数据归档与备份将线上数据库的历史数据定期归档到 HDFS 或低成本存储数据分发将一份数据从中心库同步到多个下游系统ES、HBase等7. 安装与部署7.1 环境要求依赖版本要求说明JDK1.8DataX 基于 Java 开发必须使用 JDK 1.8Python2.7DataX 启动脚本使用 Python 编写需 Python 2.7不支持 3.x操作系统Linux/CentOS推荐 CentOS 6/7 或更高版本安装前确保节点已配置好 JDK 和 Python 环境变量。7.2 下载安装1下载安装包DataX 源码托管在 GitHub可直接下载编译好的压缩包# 方式一直接下载编译包推荐wgethttp://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz# 方式二从源码编译需 Maven 3.xgitclone https://github.com/alibaba/DataX.gitcdDataX mvn-Uclean package assembly:assembly-Dmaven.test.skiptrue# 编译产物在 target/datax/datax/2解压安装包# 将安装包上传到 /opt/software 目录cd/opt/software# 解压到 /opt/moduletar-zxvfdatax.tar.gz-C/opt/module/3验证安装cd/opt/module/datax# 执行自助检查脚本验证安装是否成功python bin/datax.py job/job.json如果安装正确会输出类似以下的成功日志任务启动时刻 : 2024-01-01 10:00:00 任务启动时刻 : 2024-01-01 10:00:00 任务结束时刻 : 2024-01-01 10:00:05 任务总计耗时 : 5s 任务平均流量 : 10KB/s 记录写入速度 : 1rec/s 读出记录总数 : 10 读写失败总数 : 07.3 配置文件示例MySQL → HDFSDataX 通过 JSON 文件定义同步任务以下是一个完整的 MySQL 同步到 HDFS 的示例{job:{setting:{speed:{channel:3},errorLimit:{record:0,percentage:0.02}},content:[{reader:{name:mysqlreader,parameter:{username:root,password:123456,column:[id,name,age,create_time],splitPk:id,connection:[{table:[user_info],jdbcUrl:[jdbc:mysql://hadoop1:3306/gmall?useSSLfalseuseUnicodetruecharacterEncodingutf-8]}],where:create_time 2024-01-01}},writer:{name:hdfswriter,parameter:{defaultFS:hdfs://hadoop1:8020,fileType:text,path:/user/hive/warehouse/gmall.db/user_info,fileName:user_info,column:[{name:id,type:INT},{name:name,type:STRING},{name:age,type:INT},{name:create_time,type:STRING}],writeMode:append,fieldDelimiter:\t,compress:GZIP}}}]}}7.4 关键配置参数说明setting 配置参数说明示例speed.channel并发通道数决定 Task 并行度。数值越大并发越高但会占用更多资源channel: 5errorLimit.record允许的错误记录数0 表示不允许任何错误record: 0errorLimit.percentage允许的错误比例0~1与 record 二选一percentage: 0.02reader 配置以 mysqlreader 为例参数说明是否必填usernameMySQL 用户名是passwordMySQL 密码是column需要同步的字段列表[*]表示所有字段是splitPk分片字段用于将数据切分为多个 Task 并发执行。建议选择主键或索引字段否不配置则单线程执行connection.table同步的表名列表是connection.jdbcUrlJDBC 连接地址是where数据过滤条件只同步符合条件的数据否writer 配置以 hdfswriter 为例参数说明是否必填defaultFSHDFS NameNode 地址是fileType文件类型text、orc、parquet是pathHDFS 目标路径是fileName输出文件名前缀是column目标字段名和类型定义是writeMode写入模式append追加、overwrite覆盖、nonConflict文件存在则报错是fieldDelimiter字段分隔符仅 text 类型有效否默认逗号compress压缩格式GZIP、BZIP2、SNAPPY 等否7.5 启动命令# 基本启动方式python /opt/module/datax/bin/datax.py /path/to/job.json# 常用参数python /opt/module/datax/bin/datax.py /path/to/job.json\-j-Xms2g -Xmx2g\# 指定 JVM 内存默认 1g-p-Dkeyvalue\# 传递自定义参数--logleveldebug# 日志级别默认 info7.6 运行日志解读DataX 执行完成后会输出详细的统计报告任务启动时刻 : 2024-01-01 10:00:00 任务结束时刻 : 2024-01-01 10:05:30 任务总计耗时 : 330s 任务平均流量 : 2.5MB/s 记录写入速度 : 2500rec/s 读出记录总数 : 1,500,000 读写失败总数 : 0指标说明任务总计耗时整个 Job 从启动到结束的总时长任务平均流量平均每秒传输的数据量字节记录写入速度平均每秒写入目标端的记录数读出记录总数从源端读取的总记录数读写失败总数读写失败的记录数大于 0 时需检查错误日志如果读写失败总数 0可在日志中搜索脏数据关键字查看具体失败的记录和原因。7.7 常见同步场景配置模板DataX 提供了丰富的配置模板存放在datax/job/目录下ls/opt/module/datax/job/# 输出hdfs2rdbms.json hdfs2txt.json mysql2hdfs.json mysql2rdbms.json rdbms2mysql.json stream2stream.json可根据实际需求修改模板快速生成配置文件。8. 与 Sqoop 对比维度DataXSqoop定位离线数据同步框架Hadoop 生态数据导入导出工具架构单机多线程进程内通信基于 MapReduce分布式执行数据源插件化支持 20 种数据源主要支持 RDBMS ↔ Hadoop传输效率进程内传输无 MR 开销小数据量更快分布式传输大数据量有优势配置方式JSON 配置文件命令行参数扩展性插件机制开发新插件简单需修改源码社区状态阿里持续维护社区活跃Apache 已毕业维护较少适用场景中小规模离线同步异构数据源大规模 RDBMS ↔ Hadoop 同步在数仓项目中DataX 通常负责业务数据库到 HDFS/Hive 的 ODS 层导入与负责实时增量采集的 Maxwell 形成互补——DataX 管全量和定时批量Maxwell 管实时增量。