1. 项目背景当数据科学任务遇上“模糊”的指令如果你是一名数据科学家或者经常和数据打交道大概率遇到过这种情况业务方给你一个需求比如“帮我分析一下用户流失的原因”或者“看看上个季度的销售数据有什么问题”。听起来很明确对吧但当你真正开始动手打开数据集准备写第一行代码时一系列问题就会涌现出来“用户流失”怎么定义是连续30天不登录还是取消订阅分析的时间范围是多久要对比哪些用户群体销售数据“有问题”是指环比下降还是指异常订单或者是渠道分布不合理这种需求描述上的模糊性我们称之为“任务框架模糊性”。它不是一个错误而是现实工作中普遍存在的沟通常态。需求方往往基于业务直觉提出一个宏观目标而执行方数据科学家或分析师则需要将这个模糊的目标转化成一个或多个具体、可执行、可验证的数据科学任务。这个过程就是“任务框架”。最近随着AI智能体技术的火热尤其是基于大语言模型构建的“数据科学智能体”开始尝试自动化处理这类任务一个核心挑战被摆上了台面现有的智能体能否像人类专家一样妥善地处理这种任务框架的模糊性它们会直接选择一个看似合理的解释并执行到底还是会主动识别模糊点并与用户进行澄清这正是“Ambig-DS”这个基准测试想要系统化评估的问题。简单来说Ambig-DS是一个专门为评估数据科学智能体处理模糊任务能力而设计的基准。它不再测试智能体写SQL、调模型这些“硬技能”而是聚焦于更上层的“软技能”——理解、拆解和澄清模糊业务需求的能力。这恰恰是区分一个“代码生成工具”和一个“初级数据科学伙伴”的关键所在。2. Ambig-DS基准的核心设计如何科学地“制造”模糊要评估智能体处理模糊性的能力首先得有一套标准化的、包含可控模糊度的测试题。Ambig-DS的设计思路非常巧妙它不是简单地扔给智能体一堆语焉不详的句子而是构建了一个结构化的“模糊任务生成器”。其核心在于对数据科学任务进行解构并在关键维度上引入模糊点。2.1 模糊性的三个主要来源根据数据科学的工作流Ambig-DS将任务框架的模糊性主要归结为三个层面这也是人类分析师最常需要和业务方对齐的地方2.1.1 目标定义的模糊性这是最根本的模糊。一个任务的目标可能有多重解读。例如指令是“提高用户参与度”。模糊点A什么是“参与度”是日均使用时长、功能点击次数、还是社区发帖数模糊点B什么是“提高”是相对于上个月提升5%还是达到行业基准线或是显著超越竞品 智能体需要识别出这些未定义的度量标准和成功阈值。2.1.2 数据操作与范围的模糊性即使目标清晰对数据的处理方式也可能存在多种合理选择。例如分析“高价值客户的购买行为”。模糊点A如何定义“高价值客户”是历史总消费前10%还是最近三个月有复购的用户或是特定标签的用户群模糊点B“购买行为”包括哪些只看成功订单还是包含浏览、加购、取消的完整链路时间范围是近一年还是全部历史 这要求智能体理解数据集的潜在结构并对分析边界做出合理假设或提问。2.1.3 方法与输出的模糊性达成同一个目标可能有不同的分析方法路径。例如“预测下个月的销售额”。模糊点A使用什么模型简单的线性回归、时间序列ARIMA还是复杂的LSTM神经网络模糊点B输出形式是什么是一个具体的数值预测是一个预测区间还是一份带有归因分析的报告 智能体需要权衡方法的复杂度、数据准备成本与业务需求的紧迫性。2.2 基准的构成从静态数据集到动态交互Ambig-DS基准通常包含以下几个核心部分模糊任务库一个包含数百个数据科学任务的集合每个任务都在上述一个或多个维度上被植入了精心设计的模糊性。任务描述模拟真实业务场景如“分析广告投放效果下降的原因”、“识别潜在的风险交易”等。配套数据集为每个任务提供结构化的表格数据模拟的或基于公开数据集的变体。数据集中包含可能解决不同模糊解释所需的字段但也会故意缺失一些关键信息以考验智能体的假设能力。交互环境这是评估的关键。智能体被置于一个可以与环境模拟用户交互的框架中。它可以提出澄清性问题比如“您所说的‘效果’是指点击率还是转化率”。基准会记录智能体的所有行为。评估指标这是衡量智能体表现的核心。指标是多维度的不仅看最终任务完成得对不对更看重过程模糊识别率智能体是否能准确识别出任务描述中的模糊点澄清问题质量它提出的问题是否切中要害能有效缩小解决方案空间例如问“用什么指标衡量效果”比问“您能再说详细点吗”质量更高。假设合理性在无法获得澄清时或作为临时方案智能体所做的假设是否在业务上下文和数据背景下是合理的解决方案的适应性最终提供的分析方案或代码是否易于根据后续澄清进行调整还是做了一个非常武断、难以修改的决定3. 为什么现有智能体在Ambig-DS上会“翻车”当前无论是基于GPT、Claude还是开源模型构建的数据科学智能体在Ambig-DS这类基准上的表现往往不尽如人意。其根本原因在于大多数智能体的设计范式与处理模糊性所需的能力存在错配。3.1 “指令-执行”的线性思维陷阱主流智能体的工作模式是“接收指令 - 规划步骤 - 执行代码”。它们被训练成高效的问题解决者但默认前提是“问题定义是清晰的”。当遇到模糊指令时这种线性思维会驱使它们快速选择一个概率最高的解释然后沿着这条路径坚定地执行下去。例如面对“分析用户流失”一个智能体可能基于训练数据中的常见模式直接假设“流失”等于“30天未登录”并开始计算流失率、画趋势图。它不会停下来思考“在这个特定的业务场景下‘流失’有没有其他更相关的定义” 它缺乏那种“这个需求好像有点宽泛我得先和提需求的人确认一下”的人类直觉。3.2 对沉默知识的缺失处理模糊性严重依赖“领域沉默知识”和“常识”。人类分析师会基于公司过往的报告习惯、行业惯例、甚至与业务方打交道的经验来对模糊点进行合理的先验假设。而当前的智能体缺乏这种持续、个性化的上下文记忆。它不知道“在我们公司通常用DAU来衡量参与度”也不知道“销售部门说的‘有问题’十有八九是指业绩未达预期”。3.3 交互策略的单一与僵化有些高级的智能体具备了“提问”功能但它们的提问策略往往是初级的。可能会出现两种极端不敢提问担心问题太“笨”或者打断工作流倾向于默默做出选择。过度提问提出一连串琐碎、无关甚至重复的问题比如把任务描述中的每个名词都问一遍“这是什么意思”缺乏对模糊点优先级和关键性的判断导致交互效率低下体验糟糕。3.4 对“不确定性”的表征与传递能力不足一个成熟的数据科学从业者在给出初步分析时会明确说明自己的假设和结论的局限性例如“基于‘将高价值客户定义为年度消费大于1万元的用户’这一假设我们发现……”。而现有智能体生成的报告或代码常常缺少这种对自身决策前提的透明化表述。它给出的像是一个“确凿”的答案掩盖了初始任务的模糊性这可能对决策者产生误导。4. 构建善处模糊性的数据科学智能体实用思路与技巧那么如何让我们构建或使用的数据科学智能体在Ambig-DS基准上表现更好进而更贴合实际工作需求呢以下是一些从架构设计和提示工程角度出发的实用思路。4.1 设计“思考-澄清-确认”的循环工作流不能指望智能体一次性理解所有。我们需要在其核心工作流中强制插入一个“模糊性检查点”。这可以通过系统提示词或智能体框架的规划模块来实现。一个基础的提示词框架示例你是一个经验丰富的数据科学助手。在开始任何分析之前你必须执行以下步骤 1. **任务解析与模糊点识别**仔细阅读用户请求。列出所有可能存在多种合理解释的术语、目标、范围或方法。例如关键指标定义、时间范围、数据筛选条件、比较基准等。 2. **生成澄清问题**针对上述每个模糊点构思1-2个最关键的澄清问题。问题应具体、封闭式优先提供选项以高效获取信息。例如不要问“您想分析什么”而是问“您希望关注的指标是‘点击率’、‘转化率’还是‘投资回报率’” 3. **等待与整合**将这些问题提交给用户或根据可用知识库尝试解答。根据反馈更新你对任务的理解。 4. **明确假设**对于无法澄清或用户未说明的点做出一个最合理的假设并明确记录在分析开头。例如“假设‘近期’指过去90天且‘活跃用户’定义为每周至少登录一次。” 5. **执行与分析**基于澄清后的任务和明确的假设进行数据分析。 现在请处理以下任务[用户任务]这个流程将智能体从“执行者”转变为“协作者”主动管理模糊性。4.2 构建与利用领域知识上下文要让智能体的假设和提问更精准必须为其注入领域知识。静态知识库可以创建一个公司或行业特定的术语表、指标定义文档、常用分析范式的描述作为上下文提供给智能体。例如告诉它“在本电商语境下‘GMV’指支付成功的订单总额不含退款‘大促期’通常指活动开始前7天到结束后3天。”动态记忆更高级的实现可以考虑为智能体添加记忆功能记录与特定用户或团队的过往交互历史。例如如果历史记录显示该业务方每次都关注“环比增长率”那么当新任务出现模糊时智能体可以优先基于这个偏好进行假设或提问。4.3 训练“提问”的判别器模型我们可以通过微调一个小型模型或设计复杂的规则/评分系统来提升智能体提问的质量。这个“提问判别器”的目标是评估一个问题是否“好”标准包括必要性这个问题对应的模糊点是否对任务结果有重大影响效率问题是否具体能否用最少轮次获得最大信息量优先选择题而非开放题时机有些问题可以在分析过程中根据中间结果再提出不一定都在开头问。智能体在生成一系列潜在问题后可以先通过这个判别器进行筛选和排序优先提出得分最高的问题。4.4 在输出中强制进行假设声明无论是否获得了全部澄清都要求智能体在输出分析报告、图表或代码注释的开头部分用一个固定格式的区块声明本次分析所基于的所有关键假设。这不仅提高了透明度也让用户能快速检查智能体是否理解有误便于后续修正。输出模板示例本次分析基于以下假设目标定义“提升效果”指提升注册转化率非点击率。数据范围分析时间范围为2023年Q4数据“新用户”指首次访问网站的用户。方法选择采用A/B测试结果对比进行归因未考虑长期品牌效应。以下为详细分析内容...5. 实战演练用Ambig-DS思维优化一个真实分析请求让我们看一个简化的例子演示如何应用上述思路。原始用户请求“帮我看看上周新上线的功能用户反馈怎么样”步骤1识别模糊点基于Ambig-DS分类目标模糊“反馈怎么样”是定性感受还是定量指标是好坏判断还是具体问题收集范围模糊“上周”是自然周周一至周日还是功能上线后的7天“新上线功能”具体指哪个功能用户群体是所有用户还是使用了该功能的用户方法模糊通过什么看是应用商店评论、问卷调研、用户访谈记录还是产品内的行为数据步骤2生成高质量澄清问题“您希望评估的是用户的定量行为数据如功能使用率、留存变化还是定性反馈文本如评论、调研回答”“‘上周’是指[给出具体日期区间如10月21日-27日]这个自然周还是功能上线日假设是10月23日之后的7天”“我们有哪些反馈来源可供分析例如A. 应用商店评论B. 用户满意度问卷NPS/CSATC. 客服工单D. 产品内行为日志。请确认优先级或全部包含。”步骤3做出合理假设并声明如果用户暂时无法回答智能体可以基于通用场景做出假设并执行 “由于未获得明确澄清本次分析将基于以下假设进行目标定量分析用户对功能的使用行为与留存影响。范围分析功能上线后7天10月23日-29日的数据聚焦于首次使用该功能的用户群。方法分析行为日志中的功能点击率、人均使用时长并与功能上线前的用户留存曲线进行对比。数据源仅使用产品内行为数据暂不分析文本反馈。 请注意结论可能因假设不同而变化。”通过这样一个结构化的过程即使最终答案不是完美的其分析过程也是可靠、可审计、可迭代的。这正是在实际工作中一个数据科学智能体从“玩具”走向“工具”的关键一步。Ambig-DS基准的价值就在于它为我们提供了衡量这一步走得多远的标尺。