这项由清华大学与蚂蚁数字科技蚂蚁集团旗下联合开展的研究以预印本形式发布于2026年7月编号为arXiv:2607.01647有兴趣深入了解的读者可通过该编号在arXiv平台查阅完整论文。数据科学曾经是一门需要大量人工投入的手艺活。数据科学家们每天面对海量杂乱的原始数据要凭借多年积累的领域知识反复琢磨、清洗、分析才能从中提炼出有价值的商业洞察。然而近几年一类新兴的AI系统——数据智能体——开始尝试接管这整套流程从读取原始数据到生成分析报告几乎不需要人工干预。既然有这么多数据智能体涌现出来一个自然而然的问题随之而来这些系统到底有多能干它们在哪些地方表现出色又在哪些地方频频失手要回答这个问题就需要一套严格、全面、有说服力的考试体系。然而现有的评测基准就像是一份只考语文和数学的中考试卷遗漏了历史、地理、物理、化学……无法真正衡量一个学生的综合能力。正是为了填补这个空白清华大学与蚂蚁数字科技的研究团队推出了**AgenticDataBench**——一套专门用来系统评测数据智能体的综合性基准平台并在GitHub上开源了完整的测试环境。---一、为什么现有的考试卷不够用现有的数据智能体评测基准大致相当于用几道选择题来判断一个厨师的水平。它们通常只覆盖少数几类任务任务描述过于简单而且最终只给出一个笼统的总分根本无从判断AI在哪道题目上失手了。研究团队仔细梳理了现有基准的短板发现主要问题集中在三个方面。第一覆盖范围太窄大多数基准只测试几种人工挑选的任务类型缺乏对真实数据科学工作多样性的呈现。第二忽略真实业务场景学术界的公开数据集固然重要但真实的金融、风控、营销等商业场景中的数据任务往往复杂得多噪声更多、规模更大、逻辑更曲折。第三评分粒度太粗只知道AI最终对了还是错了却不知道它在哪个步骤卡壳就好比老师只知道学生考了60分却不知道他是加减法不会还是应用题读不懂。与现有基准相比AgenticDataBench在几乎所有维度上都有显著提升。它覆盖433个精细化的技能标签现有最强竞争者DataSciBench只有281个每道题平均对应113.6行解题代码远超其他基准每道题平均涉及493.4MB的数据量是其他基准的数倍乃至数十倍而且包含了来自真实金融科技公司生产环境的商业数据任务——这在同类基准中极为罕见。---二、技能地图把数据科学拆解成433个可测试的能力单元AgenticDataBench的核心创新之一是引入了数据科学技能这个概念。可以把它理解为一张能力地图把数据科学家在工作中反复用到的各种操作模式系统地整理成一个个可以独立测试的能力单元。这张地图的构建来源非常扎实——研究团队从程序员问答社区Stack Overflow上收集了6510个高质量的数据科学任务与解答然后让AI模型把每个解题过程拆解成一步一步的操作描述。这个过程产生了接近三万条细粒度的技能使用记录。但这三万条记录有个明显问题太多了而且重复严重。就像一个厨师的烹饪笔记里切洋葱这个动作出现了五百次描述方式各有不同本质上却是同一件事。直接拿来建考题既浪费又低效。为了解决这个问题研究团队设计了一套层次化技能提取流程分四个步骤把这三万条记录浓缩成433个代表性技能。第一步是基础提取用AI模型把每个解题步骤转化成结构化的技能描述确保每一步对应一个清晰的操作意图并且所有步骤合在一起能完整还原原始解法。第二步是语义聚类把所有技能描述转化成数学向量用的是Qwen3-Embedding这套先进的文本嵌入模型然后用降维和软聚类算法把语义相近的技能归到一组。所谓软聚类就是允许一个技能同时归属于多个上层技能就像炒菜这个动作既属于中餐烹饪也属于家常烹饪。第三步是AI辅助精炼由于纯数学的相似度计算有时候会把本质不同的技能归在一起研究团队进一步用语言模型来审查每个聚类把混在一起的不同技能拆开把真正重复的技能合并形成更清晰的层次结构。第四步是专家校正针对技能层次中出现的过于笼统问题——比如某个技能的定义宽泛到可以包含另一个技能导致两者不应该并列出现——研究团队通过语法分析和人工审核把过于宽泛的技能替换成更具体的子技能最终由数据科学领域专家进行最后审核确保这433个顶层技能覆盖面全、定义清晰、互不重叠、贴近实战。这433个技能被归纳为七大类别构成一个完整的能力图谱。数据格式处理类包括文件读写、格式解析、批量文件操作等基础能力数据预处理类涵盖数据清洗、类型转换、缺失值填充、特征工程等常见数据准备工作数据操控类包含数据重组、过滤筛选、排序合并等结构化操作数据分析类则聚焦于统计计算、模式挖掘、相关性分析、时间序列分析等洞察性操作数据建模类包括模型设计、训练调参、效果评估和部署上线数据可视化类负责图表创建和视觉呈现跨阶段技能类则是贯穿整个流程的通用能力如SQL数据库操作、并行计算、错误处理和算法优化。---三、344道真题如何从现实世界打捞出最有代表性的考题有了能力地图接下来就要设计考题。AgenticDataBench的344道任务来自两个截然不同的来源处理方式也各有讲究。第一批任务来自蚂蚁集团真实的B2B生产环境。蚂蚁集团旗下5个业务单元的30位领域专家花了超过600人·时从真实业务实践中精心筛选出600个代表性任务。这些任务覆盖商业银行、消费金融、互联网金融、保险、汽车、航空、手机制造和零售等多个行业场景包括探索性分析、建模、运营支持等数据特点是噪声多、分布长尾、可能存在特征穿越等真实业务痛点。600道候选题显然太多而且其中很多题目高度相似——就像600道数学练习题里有100道都是两位数加两位数的变体。研究团队用技能地图来衡量每道题的知识含量选出那些能覆盖尽量多样技能的题目。这个选择问题本质上是数学中著名的集合覆盖问题已知是计算上的难题但可以用贪心算法来近似求解每次从剩余候选中选出能新增最多未覆盖技能的那道题反复迭代直到所有技能都被覆盖。最终从600道候选题中精选出102道经过人工专家再次打磨、设计评分函数、审核隐私合规性形成第一批基准实例。第二批任务来自10个公开领域的58个真实数据集包括46个Kaggle数据集、2个UCI机器学习数据集、2个Mendeley数据集以及来自UCSD、BIRD、自然地球、纽约市出租车委员会、美国交通统计局、美国国立癌症研究所基因组数据中心、全球数据世界等机构的8个学术和政府数据集。选择这些数据集的标准有三条与主流数据科学场景高度相关、数据本身具有复杂性规模大、格式多样、内容嘈杂以及文件之间存在可以跨表关联的灵活性。由于这些公开数据集没有现成的配套任务研究团队开发了一套技能覆盖驱动的任务生成流程分四步从无到有地生成高质量任务。第一步是构建技能图谱把Stack Overflow任务解法中的技能使用顺序和蚂蚁集团真实任务中的技能使用轨迹合并起来形成一张带权重的有向图。图中每个节点是一个技能每条边代表两个技能经常前后相继出现的关系节点和边的权重反映这些技能和技能组合在真实任务中出现的频率。这张图的意义在于它记录了数据科学家在实际工作中的操作习惯——哪些技能经常组合使用哪些技能通常先做哪些后做。第二步是准备任务配料生成每道新任务之前系统需要准备三类素材。数据集素材从目标领域加载相应的文件技能组合素材通过在技能图谱上随机游走来采样起点选择通常出现在任务前10%步骤中的技能后续每步按照边权重和节点权重的加权组合来选择下一个技能参考示例素材则从已有任务库中检索与采样技能最相关的任务作为生成新任务的参照。为了避免生成的任务都长得差不多系统会动态降低已经被覆盖的技能和已经用过的参考示例的抽取概率鼓励多样性。第三步是用语言模型生成任务有了数据集、技能组合和参考示例这三类素材系统通过三个子步骤生成一道完整的任务。首先进行结构化数据画像为每个数据文件生成包含基本信息、格式特征、字段统计、缺失值情况以及跨文件关联关系在内的完整描述让语言模型能够真正理解数据。其次进行基于技能的工作流综合先确定第一个技能对应的操作步骤然后逐个把剩余技能插入工作流中合适的位置每次插入后验证步骤的可操作性和依赖关系的合理性如果验证失败则重试多次失败则放弃该技能。最后基于工作流生成任务描述并验证任务是否满足六条质量标准能由工作流解决、确实需要采样的技能、描述简洁、表达清晰、操作可行、答案可验证。只有通过全部验证的任务才会被保留。第四步是专家标注8位专家花了960人·时对生成的任务进行全面审核包括验证流程正确性、检查数据源是否完整、优化问题描述、评估质量、设计评分函数、实现参考解答并进行多轮交叉验证最终生成242道高质量基准实例。---四、考场规则AgenticDataBench如何给AI打分有了344道题目下一个问题是怎么判卷AgenticDataBench的评分体系分为两个层次就像既看期末考试总分又看每道题的得分明细。整体评测流程包含四个环节。基准实例环节负责加载题目每道题包含任务描述、数据集、参考解答、所需技能集合以及专属的评分函数。执行环境是一个Docker容器内置了Bash、Python和数据库支持确保每个智能体都在相同的硬件和软件条件下运行测试结果可以公平比较。数据智能体环节让被测系统接收任务描述根据执行反馈反复生成和运行代码最终产出答案。排行榜环节汇总所有评分输出各智能体的综合排名和详细分析报告。评分函数支持五种模式对应不同类型的输出。表格匹配模式比较预测表格和参考表格数值列允许设置容忍阈值非数值列要求精确匹配。建模评分模式用均方误差等统计指标衡量预测精度并归一化到0到1之间。JSON匹配模式统计正确匹配的键值对比例。图表匹配模式同时比较图表的底层数据和视觉配置。文本匹配模式支持精确匹配和模糊匹配两种方式。在整体评分之上AgenticDataBench还提供技能级别的深度分析。系统让语言模型比较智能体的解法和参考解答以标注的技能集合为候选项结合评分信息判断智能体在哪些具体技能上出了问题。这就像把一份作文试卷不仅给出总分还标注出学生在词汇运用逻辑结构论据充分性等各个维度上的具体失误。---五、15个考场、12个考生实验结果说明了什么研究团队用AgenticDataBench对12种数据智能体配置进行了系统评测覆盖4种智能体框架Smolagents、DA-Agent、Claude Code、CodeX和3种语言模型Qwen3.5-397B-A17B、Kimi-K2.5、Claude Sonnet 4.6的所有组合。从总体成绩来看得分最高的三个配置是CodeX搭配Kimi-K2.548.8%、Smolagents搭配Qwen3.547.1%以及Smolagents搭配Claude 4.646.7%。这个结果有一个耐人寻味的含义通用型智能体框架如CodeX反而超过了专门为数据科学设计的DA-Agent。原因在于DA-Agent采用了较为轻量的设计没有数据画像工具、没有数据科学专用技能模块在面对复杂数据任务时显得力不从心而成熟的通用框架在工程层面的打磨更充分各种边界情况的处理更稳定。此外没有任何一个框架在所有15个领域都拿到最高分每个框架都有自己擅长和不擅长的赛道。举个典型例子Smolagents在营销领域表现最好原因在于营销任务的数据文件动辄超过1GBSmolagents采用类似Jupyter笔记本的交互式实现方式加载一次数据可以在后续步骤中反复使用而其他框架每个步骤都重新生成独立文件导致反复加载大文件在时间限制内容易超时。与此同时DA-Agent在房产领域反而拿到了最高分因为该领域任务需要大段代码来处理复杂的多源数据对齐和指标计算DA-Agent一次性生成长代码块的风格恰好适配而其他框架迭代生成小代码片段的方式在这种场景下产生了不一致的中间输出。在语言模型的选择上最优搭档因框架而异。Claude Sonnet 4.6在DA-Agent和Claude Code框架下表现最佳因为它的代码质量更高、更能严格按照指令行事比如主动用列式加载避免全表读取减少超时风险。Qwen3.5在Smolagents框架下表现最佳因为Kimi-K2.5和Claude 4.6有时无法适应Smolagents的特定提示格式导致反复出现解析错误。Kimi-K2.5在CodeX框架下表现最佳因为Qwen3.5会生成与CodeX接口不兼容的函数参数而Claude 4.6频繁在没有完成任务的情况下提前结束。成本与效率的权衡同样值得关注。CodeX搭配Kimi-K2.5虽然总分最高但平均每个任务需要执行40.2步是所有配置中最多的且成功执行步骤的比例只有59.5%——也就是说有将近40%的步骤以失败告终。这个框架像是一位不停尝试不同方向的探索者虽然最终成功率高但过程中走了很多弯路。相比之下Smolagents搭配Qwen3.5只需平均18.1步就能完成任务每个任务花费仅0.07美元是性价比最高的配置堪称少花钱多办事的代表。Claude Sonnet 4.6在各个框架下的token消耗都显著高于开源模型但并不总是能带来同等比例的性能提升尤其是Smolagents搭配Claude 4.6的组合成本是Smolagents搭配Qwen3.5的约24倍却只多了约0.4个百分点的分数。---六、病历单技能层面的诊断结果宏观的总分只是个开始技能层面的分析才是AgenticDataBench真正能揭示的东西就像一份详细的体检报告而不是只有健康或不健康两个结论。从七大技能类别的平均得分来看数据格式处理和跨阶段技能的得分普遍较高这并不奇怪因为文件读写和基础编程操作是AI在预训练阶段接触最多的内容所谓熟能生巧。数据分析类技能的得分最低尽管它并不是被调用最频繁的技能类别但数据验证、统计汇总、指标计算等操作的失误率最高而且这些失误还会连锁传导到后续步骤放大整体误差。具体到单个技能层面全体智能体得分最低的三个技能是数据对齐与合并、直方图创建与操作以及文本处理与清洗揭示了当前AI在处理异构数据和非关系型数据时的普遍短板。不同智能体在具体技能上的强弱也呈现出鲜明的个性。所有搭配Claude 4.6的配置都在统计建模与不确定性上表现突出这说明这项能力主要由底层语言模型决定Claude 4.6更忠实地遵循任务指令倾向于使用成熟的Python统计包如scipy的t分布检验、statsmodels的ARIMA而非自己造轮子。所有DA-Agent配置在模型训练与推断上都表现较差根本原因是DA-Agent固定1分钟的单步超时限制经常在高维特征表的训练过程中被强制中断智能体不得不退而求其次选择更简单的模型。CodeX搭配Qwen3.5在命令行与Shell操作上频繁出错如缺少引号、空格问题等语法细节导致在旅游领域表现较弱因为该领域任务大量依赖Shell命令处理Excel文件。从各领域的最具挑战性技能来看不同领域的难点各有不同与该领域的数据特点和任务需求密切相关。金融领域最难的是SQL优化与高级用法贷款风控领域最难的是归一化与百分位计算营销领域最难的是性能指标与优化交通领域最难的是时间序列分析与因果关系。这些挑战性技能的得分普遍在0.1到0.35之间远低于整体平均水平说明当前AI在这些领域的能力还有相当大的提升空间。---七、故障分析AI在哪些地方最容易翻车研究团队把所有失败案例归纳为十类其中七类对应七大技能类别的执行失误另外三类是框架层面的系统性问题全局限制超出总步数或总时间超过上限、单步超时某一步骤执行时间超过单步限制和自我修复失败AI在收到错误反馈后无法修复问题。从整体分布来看数据分析类失误占比最高尽管它不是被调用最多的技能类别。全局限制超出、单步超时和自我修复失败三类问题的高发在很大程度上反映了语言模型与框架之间的适配性问题——也就是说不是AI本身能力不行而是AI和它运行的那套工具之间说话方式不合拍。不同领域的失败模式也存在显著差异。营销领域的全局限制超出和单步超时比例最高根源在于该领域数据文件体积庞大约1GB反复加载消耗了大量时间。医疗领域的自我修复失败率最高因为该领域数据格式多样包括ARFF等非常规格式容易触发文件解析错误而AI往往无法自行排查解决。贷款建模领域的数据建模类失误最多因为该领域的两张宽表结构相对简单但特征衍生和建模过程极为复杂对当前AI来说是很大的挑战。研究团队还对全局限制超出和单步超时两类问题做了专项测试把步数限制和时间限制都放宽重新运行那些因此失败的任务。结果发现因为全局限制而失败的任务占所有任务的比例不超过0.6%而且放宽限制之后分数并没有显著提升——增加全局步数只是让AI在无效循环里继续转圈增加单步超时甚至会让AI进入效率更低的推理轨迹。这说明执行预算不是主要瓶颈问题的根源在于智能体的推理和决策能力本身。---说到底AgenticDataBench做的事情本质上是为一个正在快速发展的AI应用领域建立了一套有公信力的质检标准。在这套标准出现之前不同数据智能体的评测结果很难横向比较研究者们也缺乏一个共同的语言来讨论AI在数据科学任务上的能力边界。这项研究揭示了一些有意思的现实并不是专门为数据科学设计的框架就一定表现更好通用型框架凭借更扎实的工程基础反而有竞争力不同语言模型和不同框架之间存在明显的兼容性问题搭配不当会让彼此都发挥不出应有水平数据分析是所有数据科学任务中最容易出错的环节而处理异构数据和非关系型数据是当前AI系统的普遍短板。对于普通用户来说这项研究意味着当你在考虑使用某款AI数据分析工具时不能只看它的总体宣传成绩还要关注它在你实际使用场景比如时间序列分析、大文件处理、复杂统计建模上的具体表现。性能最强的未必是最省钱的最便宜的也未必在你关心的那类任务上最差。对于AI研究者来说AgenticDataBench提供了一个可以长期追踪进展的测试平台433个精细技能标签意味着研究者可以非常精准地定位某个改进究竟在哪类能力上起到了效果。这个工具本身就是未来数据智能体研究的基础设施。有兴趣深入了解这项研究的读者可以通过arXiv:2607.01647查阅完整论文源代码和测试环境已在GitHub上以AgenticDataBench为项目名称开源。---QAQ1AgenticDataBench和其他数据科学评测基准有什么不同AAgenticDataBench最大的区别是覆盖了433个精细的数据科学技能标签每道题平均涉及493.4MB数据和113.6行代码还包含来自真实金融科技公司生产环境的商业任务。现有基准通常只有几类人工划定的任务类型数据规模也小得多无法反映真实业务场景的复杂度。Q2AgenticDataBench测出来哪个数据智能体最厉害A在12种测试配置中CodeX搭配Kimi-K2.5总分最高48.8%但它也是执行步骤最多、成功率最低的配置之一。如果考虑性价比Smolagents搭配Qwen3.5以每任务仅0.07美元的极低成本获得了47.1%的分数是综合表现最均衡的选择。没有任何一种配置在所有15个领域都拿到最高分。Q3这些数据智能体目前最大的弱点是什么A根据AgenticDataBench的测试结果当前所有数据智能体最薄弱的环节是数据分析类操作统计计算、数据验证等以及处理异构数据和非关系型数据如数据对齐与合并、文本处理。此外语言模型与框架之间的适配性问题也导致大量任务因格式不兼容或自我修复失败而无法完成。