DataWorks Data Agent的演进与工程化实践
导读过去几年刚建成的数据平台今天正加速沦为“传统基础设施”。当 Agent 开始主导数据的构建、分析与消费企业数据平台普遍陷入困境对上层 AI 的支撑力不从心、价值链地位被动、预算持续承压。本文系统梳理 DataWorks Data Agent 从 Copilot辅助 → 人机协同 → AI自主驱动 的三阶段演进路径深入解析覆盖数据开发、运维诊断、自主治理与 ChatBI 的四类智能体产品体系并首次公开内部架构迭代与云端全托管工程化实践。Agent 是否已为规模化落地做好准备答案取决于企业是否愿意将规范、知识与最佳实践系统性注入智能体的演进闭环。认知跃迁数据智能体演进的三个阶段从2023年开始DataWorks的智能化能力建设经历了三个递进的阶段。第一阶段是Copilot模式。 工具仅作为辅助完成SQL补全、生成等操作人依然是主导方。这种模式下效率天花板明显观测数据显示大约能提升30%到35%的代码编写效率。第二阶段是人与AI协同。 这是当前所处的阶段效率提升幅度从30%到100%不等。Agent在这个阶段逐步取代传统SaaS的GUI操作提高人操作工具的效率。第三阶段将由AI完全主导。 人只需委派任务AI自主编排和执行人仅做结果检查、review和最终决策。效率提升可能达到十倍甚至百倍级别人在AI角色中的比重会持续减少。产品矩阵四类智能体覆盖数据全链路DataWorks Data Agent 并非单一功能而是建立在整个服务层之上。模型层提供Qwen系列、GLM系列以及针对NL2SQL场景微调的专家模型同时支持客户独立部署自有模型。智能体层提供了四类Agent数据工程ETL开发、数据治理、数据分析Chat BI、集群管控与运维优化全面覆盖数据生产与消费链路。同时用户交互层则提供多种交互形式。场景一数据开发的全流程自动化传统ETL高度依赖人工编写代码周期长、效率低且依赖资深工程师新人上手门槛高。还有一个常被忽略的问题规范落地。即便企业建立了开发规范依赖人来执行时很难保证每位工程师都严格遵循交付质量参差不齐。Data Agent在数据开发中实现的是基于需求文档驱动的全链路自动化。用户只需用Markdown格式描述需求Agent自主进行任务编排、生成任务代码、完成调度等任务配置、做检测然后发布上线。实战示例直播订单数仓开发中Agent 可基于需求自动规划ODS→DWD→DWS→ADS 全链路明细层/汇总层/应用层通过不同引擎进行计算全程遵循湖仓规范人工仅需抽查确认即可发布。场景二任务运维诊断从被动响应到主动响应数据运维长期面临的问题是被动响应尤其是半夜被告警叫醒的场景。DataWorks Data Agent的诊断能力覆盖任务全周期无论任务是未运行、已运行还是运行报错Agent都进行多维度的关联分析给出结构化诊断报告并提供相应的修复建议和快捷修复操作。整个问题分析和解决过程通过自然语言对话完成。场景三数据治理的“自主式”闭环没有经过治理的数据无法被正确消费。传统数据治理面临四个典型问题数据资产难发现、难理解表多口径多找表和理解数据成本高治理依赖人工经验规则、策略、动作都依赖专家难以规模化治理过程碎片化元数据、质量、计算优化各自独立缺乏协同治理效果难持续停留在一次性专项缺少持续闭环。Agent的介入重构了治理范式智能资产发现治理人员只需用自然语言描述指标逻辑或业务场景Agent即可自动理解、检索并推荐相关数据表。选中某张DWS汇总表后Agent能自动查询并生成全链路血缘报告以可视化图谱呈现上下游链路关系既可以追溯到最源头的ODS层又能详细分析指标的关键加工链路还可针对下游业务进行变更影响分析。质量规则自动生成在数据质量保障场景中当用户提出质量治理需求Agent自动理解意图根据业务场景和血缘链路智能识别数据分层结构帮助快速定位需要监控的ODS表从源头侧批量建立数据质量监控体系。Agent会智能分析多维度的数据信息结合行业实践和字段特征智能生成质量规则包含表行数波动、唯一关键字段格式等核心检测项并自动配置监控数据范围、触发策略与告警机制。每条规则包含校验逻辑、告警阈值和推荐原因说明。确认后一键批量创建监控任务。目标驱动自主治理更关键的转变是设定治理目标后Agent可自主分析数仓或湖仓中存在的问题自主规划并生成治理计划计划可以周期性执行。数据的治理从被动的一次性运动转向自主的持续闭环。场景四Chat BI的敏捷数据分析在数据消费侧Data Agent提供了面向分析的Chat BI能力。ChatBI 提供快捷问数和深度分析两种模式。如果只是查询一个指标快捷模式更省token速度更快。如果要做归因分析、趋势分析或更复杂的分析则使用深度分析模式。深度分析模式底层调用更强的AI能力配套更强的模型不仅仅给出洞察还会给出相应的行动建议最终生成完整的数据报告。架构迭代的三个阶段该系统的Agent架构在过去两三年里经历了三次显著的变化。第一阶段基于Dify构建。 主要做AI Workflow编排流程相对固化Agent的自主性较弱但生态比较丰富。第二阶段切换到AgentScope。 这是阿里开源的一个Agent框架主打多Agent协同。框架灵活性高适合做探索性、实验性的Agent开发但生态相对没那么丰富。第三阶段切换到基于QwenCode和OpenClaw的双引擎架构。 QwenCode和Cloud Code这类代码Agent在开发者端效果出色但它们定位是面向开发者严格来说不算框架要变成企业级产品需要做大量工程化工作。OpenClaw的特点是支持多渠道IM对接而且是“养成系”Agent可以持续打造AI人设实现越用越好用但企业级能力相对较弱。DataWorks Data Agent 2.0云端全托管的工程化实践面向开发者的Cloud Code和QwenCode通常装在个人电脑上无法7×24小时工作在企业场景还面临安全、风控、合规的挑战。Data Agent 2.0基于QwenCode打造了一个云端全托管的形态提供云端沙箱环境Agent可以7×24小时持续工作连接企业生产系统。在安全合规方面权限审计做了专门的工作。交互形态上该系统提供了四种模式。Chat UI模式标准的自然语言对话界面。CLI模式Web终端交互适合开发者和极客用户。远程控制模式通过扫描二维码手机上可以打开与电脑端一致的Agent界面整个会话和执行过程同步类似于苹果的接力功能让手机承接PC端的Agent操作。IM Channel模式类似OpenClaw的模式支持通过钉钉、飞书、企业微信接入。AI 助理服务安全可控的龙虾运维助理基于OpenClaw构建的AI助理服务主要定位为任务运维AI助理。工程化上解决了几个企业级关键问题全托管免运维一键拉起实例无需复杂配置提供7×24小时在线服务。安全可控实现了不开公网就能连接各种IM端点的机制。使用了阿里云的全球加速技术以及PrivateZone和PrivateLink三种技术组合构建了从DataClaw到各类IM的专线确保企业所有流量和数不出公网。配置DataClaw时可指定执行身份所有写操作都需要二次确认。内置官方Skill覆盖数据运维、数据治理等领域涵盖任务诊断、工作空间诊断、告警诊断、任务运维、质量监控等核心场景。实际使用中当任务失败发出告警时告警会主动推送到AI助理服务。用户收到消息后在IM端可以直接完成问题诊断、根因分析和任务修复不需要打开电脑。一个典型场景是让AI助理服务查找失败的任务实例它会提示失败原因如资源组过期由于资源组已经修改可以直接重跑该实例。案例淘宝闪购的落地效果在阿里内部淘宝闪购业务与DataWorks Data Agent合作落地。传统的人工加IDE工具的数据开发模式流程割裂、人工操作多一个需求开发周期需要数小时至数天。核心问题是效率低下重复性工作多规范执行困难靠人工记忆容易遗漏质量保障不足缺乏系统化检查知识复用困难经验难以沉淀。切换到Data Agent模式后实现了端到端智能化开发覆盖全流程。通过扩展自定义Skill和业务知识库数据需求开发周期从12到23个小时缩短到5到10分钟。规范通过Skill和Workflow自动执行确保一致性质量保障通过系统化检查和规范策略实现知识和最佳实践沉淀在Skill和知识库中持续复用。Data Agent带来的不是单纯的工具升级而是改变了数据平台的工作方式。当需求开发从天级降到分钟级当数据治理从运动式变成自主闭环数据平台本身的价值链条也发生了变化。Agent是否已经为规模化落地做好准备取决于企业是否愿意将规范、知识和最佳实践注入这些智能体的演进过程中。