上周领导扔过来一个任务公司要搞数据仓库让我选个ETL工具。我说行吧反正最近项目空档期折腾折腾。结果这一折腾就是两周试了五个工具最后定了个国产的。记录一下过程给后面的人省点时间。一、先说我们这边的背景公司不大制造业IT部就十几号人。数据量说大不大说小不小——核心业务库MySQL每天增量几百万条要同步到ClickHouse做分析。另外有个达梦数据库信创要求绕不开。领导给了三个条件国产化、能实时同步、别太贵。就这三个条件筛掉了一大半选项。二、Kettle老熟人但这次真不合适Kettle是我第一个试的。2016年刚入行那会儿用过Spoon拖拖拽拽挺顺手社区也热闹。但九年过去了打开Spoon还是那个界面连图标都没换。试着配了个MySQL到ClickHouse的同步百万级数据就开始卡CPU飙到80%。CDC更别说了Debezium插件配了一下午各种版本冲突最后放弃了。不是Kettle不好是它停在了那个年代。现在搞实时数仓、CDC、云原生它真的跟不上了。三、DataX阿里出品但不太适合我们DataX性能确实猛千万级数据秒级同步。但用起来太原始了——纯JSON配置没有UI没有调度没有CDC。我写了个MySQL到ClickHouse的jobJSON文件写了八十多行。然后发现没有调度得自己挂crontab。再想加监控、告警、失败重试自己写代码吧。这工具是给有平台团队的大厂用的。我们IT部就十几个人没精力维护一套自研的调度框架。四、Informatica好是真的好贵是真的贵Informatica PowerCenter行业老大哥。功能全、性能稳、生态成熟CDC、数据质量、元数据管理要啥有啥。问了下报价授权费百万起步实施周期三个月。领导听了直接摇头。另外问了下达梦的支持情况销售说可以通过ODBC连接但原生驱动没有信创这块心里没底。好东西但不是给我们这种小公司准备的。五、FineDataLink顺手的但不独立FDL界面做得不错上手快拖拽体验比Kettle好。但用着用着发现不对劲——很多功能要和帆软BI联动才能用比如数据服务API、复杂权限控制。我们没用帆软BI单独用FDL总感觉少了点什么。另外CDC能力一般大数据量场景性能也没达到预期。如果在帆软生态里FDL应该挺舒服的。但我们不是就算了。六、ETLCloud最后试的留了下来的说实话一开始没太看上ETLCloud。名字听着像某个开源项目的山寨版社区也不大GitHub上star数一般。但试了一周有几个地方确实让我改观。第一社区版没阉割功能100多个数据源、可视化流程设计、基础CDC、调度编排社区版全给。我搭了个环境半天就把MySQL到ClickHouse的同步跑通了。不用先找领导批预算这点对小公司很友好。第二CDC是原生的不是插件不是外挂是内置的。配个连接信息、选个表、设个同步策略点几下就完事。MySQL到ClickHouse延迟稳定在两秒以内。对比之前Kettle配Debezium折腾一下午的经历效率差距太明显了。第三达梦是原生支持的不是ODBC桥接是原生驱动。连上就能用字段类型自动映射省了不少事。信创这块对我们来说是硬性要求这个直接加分。第四Web界面确实清爽全浏览器操作不用装客户端。流程图拖拽比Kettle的Spoon流畅节点配置也直观。我组里一个刚毕业的小伙子看了一会儿就能自己搭任务了。但缺点也得说文档不够细。基础操作没问题但遇到复杂场景——比如自定义转换逻辑、集群调优——文档写得比较浅得找客服问。客服响应倒是快但总归不如自己翻文档方便。社区生态也在建设中。CSDN、Stack Overflow上搜不到多少内容遇到问题主要靠官方群。这点和Kettle、DataX没法比。极限性能没测过。我们目前TB级够用了PB级场景不敢打包票。七、最后怎么定的定了ETLCloud商业版。不是因为它比Informatica强也不是因为它比DataX快。而是在我们的场景下——中小规模、要实时同步、有国产化要求、预算有限——它是最省心的选择。干了这么多年技术越来越觉得选型不是选最好的是选最不会出幺蛾子的。工具再强团队hold不住也是白搭。八、几点个人建议别迷信大牌Informatica确实强但百万授权费三个月实施周期小公司真没必要。适合自己的才是最好的。免费不等于零成本Kettle免费但出了问题没人管时间成本也是成本。DataX免费但维护一套调度框架的人力成本也不低。一定要做PoC别光看PPT和评测文章拿真实数据跑一遍。ETLCloud、Kettle都有免费版搭个环境试两周比啥都强。信创不是选择题