qData 数据中台专业版 v2.4.0 发布:扩展多源接入、增强集成组件,推进信创适配
在实际项目中数据标准不统一、指标口径不一致、数据源类型支持不足仍是不少企业数据中台从建设走向运营时反复遇到的障碍。与此同时信创环境下的全栈适配要求已从“可选”变为“必选”对平台的国产化兼容性提出了更具体的检验标准。正是在这样的背景下qData 数据中台专业版v2.4.0正式发布。本次版本没有追求大而全的功能堆叠而是围绕我们在客户侧反复听到的几个真实需求点展开扩展数据源类型、增强集成组件的可用性、完善元数据管理覆盖、补充逻辑模型能力、提升查询与资产预览的兼容性以及深化国产化部署适配。以下从六个维度梳理本次更新的主要内容供技术选型和架构评估参考。一、多源数据连接能力扩展让更多数据“接得进来”在企业数据建设过程中数据来源越来越复杂不再只来自传统关系型数据库还包括国产数据库、时序数据库、消息中间件、文件系统、大数据组件等多种类型。业务系统、物联网设备、消息队列和大数据平台不断增加企业往往面临“数据接不全、采不动、查不了、管不住”的困境。qData 数据中台专业版v2.4.0在数据连接层面进行了系统性扩展新增GBase数据源连接满足国产数据库接入需求新增TDengine时序数据库适用于物联网、设备监控、时序指标采集等场景新增RabbitMQ消息中间件读取新增RocketMQ消息中间件写入。这意味着无论是传统关系型数据库、时序数据库还是消息队列企业都可以通过qData数据中台实现统一接入与管理不再需要为每一种数据源单独开发接入方案。同时本次版本还新增了资源监控能力支持在平台侧查看数据连接相关资源状态提升数据源连接状态、资源使用情况及运行状态的可视化查看能力。二、数据集成组件增强从“能接”到“好用”数据接入只是第一步如何在接入之后高效地进行数据处理、分发和编排才是数据中台真正的考验。qData 数据中台专业版v2.4.0在数据集成组件层面进行了多项重要补充消息队列组件方面新增RocketMQ输入组件和输出组件支持从RocketMQ消息队列中读取数据也支持将处理后的数据写入RocketMQ满足消息型数据采集、数据分发和实时消息推送场景。文件传输组件方面新增FTP输入组件和输出组件支持从FTP文件服务器读取文件数据也支持将数据处理结果输出到FTP指定目录适用于文件交换、批量数据传输和系统间文件集成场景。接口类数据接入方面新增WebService输入组件支持通过WebService方式接入外部数据扩展了接口类、服务类数据接入方式。国产数据库适配方面通用表组件新增支持GBase数据源类型可在数据同步、数据转换等场景中使用GBase作为输入或输出数据源。此外本次版本还新增了条件分发组件支持根据配置条件对数据流向进行判断与分支处理适用于数据分流、规则路由和复杂流程编排场景。新增的子流程组件则支持在集成任务中引用和编排子流程可将通用处理逻辑封装为可复用流程减少重复配置提高复杂任务建设效率。如果说此前qData解决的是“能不能接”的问题那么qData数据中台v2.4.0解决的是“接得好不好、用得顺不顺”的问题。三、逻辑模型与元数据管理为数据资产化打好基础数据中台的上限由架构决定下限由治理决定。而治理的基础在于元数据逻辑模型方面qData 数据中台专业版v2.4.0新增支持Hive、ClickHouse、Doris、Phoenix、GBase等数据源。企业可以基于更多类型的数据源进行逻辑模型配置将不同技术栈中的数据统一纳入模型管理为后续数据开发、数据服务和指标建设提供更稳定的数据结构基础。元数据采集方面本次版本的扩展力度尤为突出——新增支持PostgreSQL、SQL_Server2008、SQL_Server、Kingbase8、OSCAR、DB2、Hive、HDFS、TDengine、GBase等十余类数据源的元数据采集。覆盖传统数据库、国产数据库、大数据组件、文件系统和时序数据库。企业可以通过qData统一盘点分散在不同系统中的数据资源为数据资产目录、数据血缘、数据查询和数据治理提供更完整的元数据基础。四、数据查询与资产预览让数据“看得见、用得上”数据接入和治理的最终目的是让数据被使用。如果数据查询和资产预览能力跟不上前期的投入就无法转化为实际价值。qData 数据中台专业版v2.4.0在数据查询方面新增支持GBase和TDengine时序数据库查询用户可以在平台内对更多类型数据源进行统一查询。在资产预览方面同样新增支持GBase和TDengine数据源数据资产管理过程中可直接查看对应数据内容提升资产盘点和数据确认效率。这两项能力看似简单实则解决了数据使用中的关键断点数据接进来了、治理完成了但用户能不能方便地查到、看到、用到才是衡量数据中台价值的最终标尺。五、国产化与企业级部署适配信创环境下的稳定运行信创适配不是简单的“能连上就行”而是要求平台在国产芯片、国产操作系统、国产数据库的全栈环境下稳定运行、持续交付。qData 数据中台专业版v2.4.0在国产化适配方面完成了两项关键工作一是完成DolphinScheduler人大金仓适配支持在人大金仓数据库环境下部署和运行调度能力提升调度服务在国产化环境中的兼容性。二是补充GBase8s基础运行库qdata-pro、qdata-pro2、qdata-portal-pro三个核心服务模块均新增GBase8s基础运行库支持完善平台核心服务在GBase8s环境下的基础运行支撑。这意味着在信创项目和国产数据库环境下qData数据中台不仅能够接入数据更能稳定运行、持续交付。写在最后qData 数据中台专业版v2.4.0一次简单的数据源补充而是围绕企业真实数据环境的一次基础能力增强。从多源异构数据接入到数据集成组件增强从元数据采集范围扩大到逻辑模型适配深化从数据查询与资产预览兼容提升到国产化部署适配每一个更新背后都是对企业真实数据问题的回应。面对越来越复杂的异构数据、越来越明确的信创要求和越来越深入的数据治理需求。qData数据中台专业版将持续帮助企业从“单点接入数据”走向“统一接入、统一管理、统一查询、统一资产化”的数据中台建设模式。qData 数据中台专业版v2.4.0现已发布欢迎关注qData数据中台获取更多信息qData企业级数据中台 | 数据治理与资产管理一体化解决方案