在企业日常数据运营过程中多源数据同步一直是数据团队的一大痛点各类数据源杂乱分散、连接配置流程复杂繁琐不同业务线重复开发大量同步脚本。AIIData数据中台集成 TIS 构建数据集成平台实现全流程数据同步统一管控。依托一体化操作界面即可完成全链路数据集成与流转工作有效精简平台搭建成本与日常运维压力高效完成多源异构数据统一汇聚。 TIS 项目地址https://github.com/datavane/tis TIS 项目文档https://tis.pub/docs/本次数据集成平台全新迭代升级。全方位优化产品能力降低数据集成技术门槛赋能团队轻量化运维管理。1、可视化分布式配置告别手写脚本低效模式平台搭载分布式可视化配置能力支持一键自动生成DataX同步脚本以及配套建表DDL语句彻底替代低效的人工手写脚本工作大幅减少研发人力投入。2、前置参数校验从源头规避线上故障新增配置前置参数校验机制在任务上线前提前拦截错误、不合理的参数配置把大部分同步报错风险扼杀在测试阶段大幅提升线上数据同步任务的稳定性。3、架构全面优化运维难度断崖式下降平台进一步优化数据分区逻辑规整全平台组件布局让大批量同步任务管理更清晰。无论是日常运维巡检还是线上异常快速定位排查效率都得到显著提升。数据集成平台【TIS】功能演示1、数据集成平台统一的数据流转枢纽可对接各类业务系统、数据库、文件等异构数据源支持全量、增量实时与批量数据采集汇聚。2、数据同步任务中心集中管理所有同步作业可视化查看任务启停、运行进度、报错日志支持启停、重试、监控告警实现同步任务运维集中化。3、数据同步配置可视化拖拽式配置同步规则灵活设置源端、目标端、同步模式、字段映射、增量策略无需大量编码即可快速搭建数据同步链路。4、数据源管理所有数据连接的统一入口集中注册、认证、维护 MySQL、Oracle、Hive、文件、消息队列等各类数据源连接信息。5、数据流分析依托EMR引擎处理实时数据流对流式数据做清洗、转换、实时计算分析支撑实时业务指标统计补齐实时数据处理能力。一、使用流程图示二、支持的数据库类型三、数据集成平台入口作为集成平台的常用功能的快捷入口。四、数据同步任务中心这是所有数据同步任务的生命周期管理中心从创建、执行到监控全流程覆盖。1、数据同步任务中心数据同步任务列表页面显示运行中的同步任务列表快速查看同步任务名称、所属部门、创建时间什么时候开始运行。添加数据管道为创建新同步任务快捷入口步骤查看功能“数据同步任务管理”介绍。主控台进入数据同步详细页面通过主控台页面的执行统计数据图、明确数值标记查看当前任务执行情况是否健康。管理可以点击【管理】当前数据同步任务的配置设置提供查看、修改和生成脚本文件功能灵活设置数据同步任务。批量构建快速查看当前批量构建任务状态提供手动触发批量构建任务和修改执行参数设置。支持数据预览。实时同步用于搭建数据库增量同步链路实现数据实时采集传输操作历史详细记录当前数据同步任务的每一次操作行为。2、数据同步任务管理操作路径【基本信息】→【Reader设置】→【Writer设置】→【表映射】→【确认】步骤1填写基本信息。填写同步任务的基本信息 → 选择源端数据库Reader与目标端数据库Writer的类型。步骤2Reader设置。设置源端数据库 →设置导入表并对导入表进行设置。步骤3Writer设置。设置目标端数据库。步骤4表映射关系设置。这里是数据同步质量关键。系统会自动配置同步数据表映射关系点击【重置】可以还原数据表的映射然后进行自定义目的表名。步骤5检查确认。检查配置无误后点击【创建】提交数据同步任务。设置有2种形式1批量设置一键设置选中的导入表。2单独设置单个导入表进行设置可以精确到该数据表同步的字段列信息选择。五、数据同步配置1、业务线通过用业务线形式实现多租户隔离与配额管理为不同团队分配独立的资源和权限。同时也是定义业务线属性“标签”给同步任务建立时选择方便任务的归类管理。列表操作中提供【更改】【删除】进行管理业务线。2、DataX执行器分布式调度 DataX 数据同步任务部署使用方式。方式1: 点击【创建 PowerJob 执行器】平台自动在 K8s 环境部署一套全新 PowerJob 调度集群开箱即用方式2点击【接入已有 PowerJob 集群】对接客户现场已部署好的 PowerJob 服务复用现有资源避免重复建设图3、Flink Cluster实时同步任务的“流处理引擎”连接与管理。支持两种模式1连接现有Flink集群。2新建Flink Standalone集群。创建操作路径【配置K8S基本信息】→【确认】4、插件配置查看、管理集成平台里在全部包含全局和离线状态插件配置。可添加新的插件配置操作路径点击【添加】按钮→选择【Flink-Image】→填写Flink-Image配置信息 → 点击下拉【保存】完成添加。5、操作日志平台所有用户行为的全局审计追踪系统。详细记录集成平台的每项操作让每个变化可追溯。6、系统异常平台级故障的根因分析与告警中心。列表显示异常摘要和发生时间列表操作【查看】中详细查看当次异常内容。7、License软件许可证的状态监控与容量管理面板。点击后出现查看当前License的容量和使用情况弹窗中显示1许可证有效截止日期2激活码。如需续期联系管理员或公司负责人获取新激活码。注意输入新的激活后需要点击【校验】等待校验完成后提示成功即可保存生效。六、数据源管理所有数据库连接的统一凭证库集中管理连接信息、元数据和访问权限。点击左侧列表添加数据库类型选择对应数据库类型填写数据库连接参数完成数据源新增配置。点击左侧列表【添加数据表】按钮系统弹出添加表单弹窗可下拉选择目标数据库。七、数据流分析创建数据流分析任务时填写任务实例名称、关联全局配置根据业务场景选择 Spark、Hive 等对应的计算引擎配置插件信息后即可进入下一步设置。AIIData数据中台集成开源 TIS 项目数据集成平台全面兼容MySQL、主流国产数据库、Hive等各类常见数据源一站式实现多源数据接入、定时调度、全链路流转统一管控。数据集成平台有效减少了项目定制化开发工作量节约大量研发与运维人力成本加速各业务线数据同步项目落地。