华盛顿大学提出 Agentic Abstention 框架,CONVOLVE 显著提升 Agent 弃答能力!
让 Agent 主动放弃回答如果任务本身不可行或在当前环境中无法完成时Agent 该在什么时候“停手”我们希望Agent 能在多轮交互中及时调用搜索、网页浏览和终端工具从而完成复杂任务。但现实中用户请求不一定清晰目标也不一定能实现很多 Agent 并不知道何时该停常于任务不可行时仍继续搜索、点击和调用工具。针对这一问题华盛顿大学团队提出了 Agentic Abstention 框架专门研究 Agent 何时该停止行动还设计了上下文工程方法 CONVOLVEContext Evolution来提升 Agent 的弃答能力。论文链接https://arxiv.org/abs/2606.28733结果显示大多 Agent 很难及时弃答也往往不能在证据足够时立即停止执行。更大的模型、更强的推理虽能一定程度减少过度弃答但未必能提升整体弃答表现。模型能力、推理方式和 Agent 框架都会影响弃答效果。不过CONVOLVE 可显著改进弃答能力且具很强迁移性小模型总结的规则同样能帮助大模型提升表现。这项研究提出了一种无需更新模型参数的 Agent 改进方法把交互轨迹提炼成可复用的停止规则帮助 Agent 更早判断何时该停下来。让 Agent 主动放弃回答Agentic Abstention 是研究 Agent 何时该停止行动的框架。与传统大语言模型LLM的单轮回答不同它关注多轮交互中的弃答问题。Agent 往往要和环境交互后才知任务能否进行。围绕该框架研究团队定义弃答情形构建评测任务提出改进方法在超 2.8 万个任务上评估了 13 个 LLM - as - Agent 系统和 2 种 Agent 脚手架。具体流程如下1.弃答情形交互中Agent 需不断判断是直接回答、停止弃答还是继续搜索、点击或调用工具。研究团队将弃答分为两类一类是基于请求的弃答即仅从指令本身就能判断任务不可行另一类是基于环境的弃答即任务起初看似可行但交互后发现环境中缺少目标或必要前提。2.评测任务为系统评估 Agent 的弃答能力研究团队设计了三类任务网页购物、终端操作和交互式问答共覆盖超 2.8 万个任务。网页场景基于模拟在线购物环境 WebShop 构建测试 Agent 如何搜索、浏览和选择商品。其中既含正常购物任务也含应弃答任务有些从指令本身就能判断不可行有些则需交互后才发现目标商品不存在。终端场景基于 Terminal - Bench 2.0 构建该基准用于测试 Agent 在 Docker 化终端环境中的长程任务执行能力。任务通常涉及系统配置、代码修改和软件工程问题求解。研究团队在原始可解任务基础上加入一批应弃答的任务。问答场景基于 AbstentionBench 构建该基准用于评估 LLM 在问答任务中是否应该回答还是弃答。研究团队将原本的单轮问答任务改造成可搜索、可多轮决策的交互式问答任务覆盖答案未知、虚假前提、主观、上下文不明确和意图不明确等多类应弃答的情形。3.改进方法研究团队提出 CONVOLVE这是一种提升 Agent 弃答能力的上下文工程方法。它不直接训练新参数而是把交互轨迹中的弃答经验整理成经验手册作为后续任务的上下文提示帮助模型更早作出弃答判断。实验结果如何研究团队发现大多数 Agent 很难及时弃答也往往不能在证据足够时立即弃答。模型能力、推理方式和 Agent 框架会影响弃答表现CONVOLVE 可显著改进弃答能力。具体结果如下1.模型能力和 Agent 框架都会影响弃答表现在网页场景中模型间差距明显少数模型能在交互中逐步发现任务不可行并完成弃答多数模型弃答能力仍偏弱。表现最好的 Llama - 3.3 - 70B 模型最终弃答率接近 85%但多数模型即使交互 10 轮弃答率仍低于 50%在终端场景中Agent 框架的影响也很明显即使用同一个模型换一套框架弃答效果也可能相差甚远。例如同样使用 GPT - 5.4 - mini 模型Codex CLI 的弃答表现仍明显优于 Terminus2。2.不同类型的任务弃答难度也不一样如果问题出在指令本身如条件自相矛盾Agent 通常更易识别并及时弃答如果任务看起来正常、只有交互后才发现目标不存在Agent 往往执行好几轮后才会停下来如果用户没把意图说清楚几乎所有模型和脚手架都表现不佳。在终端场景中一旦用户意图不清Codex CLI 和 Terminus 2 都很难判断是否需要弃答。3.更强的推理能在一定程度上减少过度弃答例如在网页场景中Qwen3 - 235B 的 Thinking 版本过度弃答率低于 Instruct 版本在终端场景中中等和高推理强度下的过度弃答率整体也处于较低水平。不过更强的推理能力并不意味着更好的弃答表现。网页场景中Qwen - 3 - 235B 的 Thinking 版本虽提升了及时弃答率但总体弃答率反而下降。更强的推理有助于 Agent 第一时间做出判断却未必能提升整体表现。终端场景中中等推理强度效果最好继续提升到高推理并没有带来额外收益。4.模型规模扩大并不意味着效果更好研究团队在 Qwen 系列上测试发现模型规模增大确实能提升最终弃答率但对及时弃答几乎没有帮助。CONVOLVE 的效果怎么样研究团队给出以下两点1.即使只用少量交互轨迹CONVOLVE 也能显著提升模型的弃答能力与单纯依靠上下文学习相比不同规模的模型都能从 CONVOLVE 中受益即便是较小的 8B 模型在使用 70B 模型总结出的经验手册后弃答表现也能稳定提升。在网页场景CONVOLVE 只用 20 条交互轨迹就把 Llama - 3.3 - 70B 的及时弃答率从 26.7 提升到 57.4最终弃答率从 83.2 提升到 100.0。2.小模型学到的经验可以迁移到大模型8B 模型总结出的经验手册也能直接提升 70B 模型的弃答表现而且效果接近大模型使用自身经验时的水平。真正发挥作用的是 CONVOLVE 从交互轨迹中提炼出的“停止规则”。不足与未来方向尽管研究团队围绕 Agent 何时该停止行动进行了系统研究并在网页、终端和问答三类场景中进行了较大规模评测也指出了目前工作的不足。具体如下1. 目前评测场景仍有限尚未覆盖真实 Agent 可能面对的更复杂界面、私有工具、长期用户状态和多步骤工作流。未来仍需将 Agentic Abstention 扩展到更丰富的真实部署环境中。2. 现有弃答任务主要覆盖“目标缺失”和“前置条件缺失”等情形而权限边界、外部源失效、工具输出冲突等更隐蔽的不可行场景尚未充分覆盖未来仍需要更丰富的任务类型以全面评估弃答能力。3. 弃答表现不仅取决于模型本身也受 Agent 框架设计的显著影响因此本文结果更多反映的是当前系统的阶段性表现而非底层模型的固有能力。此外部分模型仍可能在预训练或后训练阶段接触过类似样本这一风险仍需在更真实、持续更新的评测环境中进一步检验。4. 弃答并非越多越好。过度弃答会削弱 Agent 的实用性因此需要结合任务成功率一起评估在实际部署中弃答也还需要与澄清请求、人工介入等机制配合。未来如何把这些机制更好地整合进真实系统仍是一个值得继续研究的问题。更多技术细节详见原论文。