一、研究问题与动机核心问题LLM智能体的性能不仅取决于模型本身还受运行时harness即中介观察、工具调用、动作执行和反馈解释的系统层的深刻影响。现有方法主要聚焦于更新模型参数但在确定性、规则约束的领域如家居交互、网络购物、数据库操作等大量失败源于模型-环境接口的不匹配而非模型推理能力不足。关键洞察例如Qwen3.5-4B在数学推理基准HMMT上达74.0%但在具身交互基准ALFWorld上仅43.1%差距源于接口层面的问题观察结构不良、工具契约被误解、动作不可执行等。环境侧的大量结构化知识工具模式、API契约、反馈规则、恢复策略本应通过运行时接口暴露而非全部嵌入模型权重。二、提出的方法LIFE-HARNESS核心思想不更新模型权重不修改评估环境而是从训练轨迹中进化出一个结构化的运行时接口将重复出现的交互失败转化为可复用的干预措施。该harness在未见任务上保持固定并可跨不同模型主干复用。四层生命周期架构层名称作用阶段核心功能环境合约层交互前明确工具使用规则、策略约束、常见陷阱增强模型可见的合约信息流程技能层任务条件化时从训练轨迹中提炼可复用策略技能库根据任务描述检索并注入相关指导动作实现层动作输出后、执行前验证动作可执行性规范化接口级错误阻止确定性失败的动作轨迹规约层环境反馈后监控退化模式重复、停滞、预算耗尽触发恢复机制进化机制在训练任务上运行冻结模型收集完整交互轨迹使用编码智能体Codex分析失败模式按四层分类提出针对性更新迭代进化性能逐渐提升并收敛测试集全程隐藏确保泛化能力三、实验设置基准套件7个确定性环境涵盖ττ-benchAirline/Retail/Telecom、τ2τ2-bench和AgentBenchALFWorld/WebShop/OS/DBBench模型主干18个开源模型Qwen、Llama、xLAM系列含指令微调、推理和智能体专用模型进化源模型仅使用Qwen3-4B-Instruct的轨迹进行harness进化然后冻结并复用到其他17个模型四、主要结果指标结果整体提升116/126个模型-环境设置获得改进平均相对提升88.5%跨模型泛化92%的模型-基准设置改进证明harness捕获的是环境侧结构而非模型特定行为各基准增益ALFWorld 84%、WebShop 40%、DBBench 34%、Airline 26%、Telecom 25%等与提示进化对比LIFE-HARNESS相对增益额外提升120%表明仅优化提示不足以解决智能体任务的运行时问题五、关键分析消融实验四个层缺一不可移除任一层都会在某些数据集上导致显著性能下降不同任务受益于不同层反映各环境失败模式的差异性与模型训练的对比Harness可超越专门训练Qwen2.5-32B LIFE-HARNESS xLAM-2-32B经工具使用微调Harness在训练后仍有效对xLAM应用LIFE-HARNESS额外提升6.8~28.9个百分点专门训练OOD迁移有限xLAM在域外环境反而弱于基座模型而harness保持跨环境有效性结论训练与harness适应的是系统的不同部分两者互补而非替代进化动态训练集性能随迭代轮次稳步提升并收敛证明局部化更新效率高六、研究贡献新范式将智能体改进从“模型参数自适应”转向“运行时接口自适应”新框架提出LIFE-HARNESS实现生命周期感知的结构化接口干预实证验证在7个环境×18个模型上证明广泛有效性、跨模型泛化性和与训练的互补性七、局限性当前聚焦于确定性、规则约束的环境工具接口、反馈规则、评估标准稳定扩展到完全开放式任务目标、工具、成功标准各异仍具挑战是未来重要方向八、核心结论“许多实际智能体失败可以通过进化运行时接口来解决而非修改模型参数。”LIFE-HARNESS提供了一种模型无关、环境结构化、可审计且成本较低的智能体增强路径与现有模型侧训练方法形成互补为构建更鲁棒的LLM智能体系统提供了新的设计思路。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要LLM 智能体的性能不仅由其语言模型决定还受到运行时 harness 的深刻影响该 harness 负责中介观察、工具使用、动作执行、反馈解释和轨迹控制。尽管现有的智能体自适应方法主要更新模型参数但在确定性的、规则约束的领域中许多失败源于模型-环境接口的不匹配。我们提出 LIFE-HARNESS一个生命周期感知的运行时 harness它能够在不改变模型权重或评估环境的情况下提升冻结的 LLM 智能体性能。LIFE-HARNESS 从训练轨迹中进化而来通过将重复出现的交互失败转化为跨环境合约、流程技能、动作实现和轨迹规约的可复用干预措施并在未见任务上保持固定以进行评估。在来自 τ-bench、τ2-bench 和 AgentBench 的七个确定性环境上LIFE-HARNESS 在 18 个模型主干上的 126 种模型-环境设置中改进了 116 种平均相对改进率达 88.5%88.5%。仅从 Qwen3-4B-Instruct 轨迹进化出的 Harness 能够迁移到其他 17 个模型这表明 LIFE-HARNESS 捕获的是可复用的环境侧结构而非模型特定行为。这些结果将运行时接口自适应定位为以模型为中心的智能体训练的一种补充替代方案。1 引言LLM 智能体不仅仅是 LLM。如图 2 (a) 所示它是一个嵌入在状态化交互循环中的模型环境暴露观察结果运行时系统指定可用的工具和动作模型发出动作或工具调用执行器将其应用于环境并将产生的反馈更新到下一个决策中 (Wang 等人2024; Anthropic2026)。因此最终的行为不仅由模型决定还由运行时 harness 决定该 harness 中介了模型如何观察环境、理解工具、实现动作以及解释反馈。这种系统级视角在各类智能体应用中日益重要包括软件工程助手 (Yang 等人2024b; OpenAI2026; OpenCode2026)、网页导航 (Zhou 等人2024)、数据库操作 (Lei 等人2025)、操作系统控制 (Xie 等人2024; Liu 等人2024)、使用工具的业务工作流智能体 (Yao 等人2024; Barres 等人2025) 以及具身交互 (Shridhar 等人2020)。图 1适应运行时 harness而非模型。LIFE-HARNESS 保持 LLM 权重固定并从训练轨迹中进化出可复用的接口干预措施在各类智能体任务、基准测试和模型主干上带来了广泛且显著的性能提升。尽管如此智能体自适应仍然通常被框定为模型自适应包括模型规模化 (Dubey 等人2024; Team2024)、微调 (Chen 等人2023; Prabhakar 等人2026)、强化学习 (Guo 等人2025; Qi 等人2025) 和蒸馏 (Kang 等人2026; Agarwal 等人2024b)。这些方法功能强大但它们隐含地将领域特定行为吸收到模型参数中。在确定性的、规则约束的领域中大部分相关结构实际上存在于模型之外工具模式、API 契约、可行动作、反馈规则、停止条件和恢复策略。这种区别体现在静态能力与交互性能之间的差距上。例如Qwen3.5-4B 在 HMMT Feb (哈佛-麻省理工学院数学锦标赛2026)一个竞赛级别的数学推理基准上达到 74.0%但在 ALFWorld (Shridhar 等人2020)一个确定性具身交互基准上仅达到 43.1%。这类失败通常并非源于潜在推理能力的缺乏而是模型-环境边界上的不匹配结构不佳的观察、被误解的工具契约、不可执行的动作、无法触发恢复的反馈或退化的轨迹动态。这为智能体改进提供了一条替代路径与其将所有环境特定约束都嵌入到模型权重中不如通过运行时接口暴露稳定的环境侧结构让模型在该接口上观察、行动和恢复。图 2(a) 智能体不仅仅是 LLM其行为受运行时 harness 塑造该 harness 中介了观察、工具、动作和反馈。(b) 我们适应这个运行时接口而非模型参数为确定性环境中的冻结智能体生成一个固定且可复用的 harness。近期工作开始探索这一方向通过优化围绕冻结 LLM 智能体的运行时 harness包括推理时计算控制器 (Zheng 等人2026)、交互式游戏中的在线工作区自适应 (Sarafian 等人2026; Karten 等人2026)、harness 标志优化 (Sengupta 和 Wang2026) 以及自动化 harness 代码搜索 (Lee 等人2026; Lin 等人2026)。这些研究确立了 harness 优化作为模型训练的一种重要替代方案但它们在很大程度上将 harness 视为一个整体待优化的策略、可变状态、配置空间或代码产物。我们则专注于确定性智能体领域在该领域中harness 可以被视为冻结模型与规则约束环境之间的稳定运行时接口。在此设置下重复出现的失败可以定位到交互生命周期的特定阶段从而可以将针对特定失败的接口干预措施从训练轨迹中进化出来并在评估未见任务时保持固定。这引出了我们的核心问题训练轨迹能否揭示稳定的失败结构并将其转化为结构化的运行时接口以跨未见任务和不同模型架构改进 LLM 智能体我们通过 LIFE-HARNESS 来回答这个问题这是一个为确定性 LLM 智能体设计的生命周期感知的运行时 harness。LIFE-HARNESS 不更新模型参数也不对无约束的 harness 代码进行搜索 (Lee 等人2026)而是适应运行时层该层中介了冻结模型如何观察环境、使用工具、实现动作、解释反馈以及从退化轨迹中恢复。为了对这个运行时接口建模LIFE-HARNESS 将自适应组织为四个生命周期层。环境合约层在交互前校准工具描述和接口约束。流程技能层从过往轨迹中提炼可复用的流程并根据当前任务和状态进行检索。动作实现层在执行前验证和规范化模型生成的动作防止确定性失败。轨迹规约层监控执行后的动态检测退化模式如重复、停滞、无效重试或预算耗尽并在需要时触发恢复。LIFE-HARNESS 随后通过诊断训练轨迹中的重复交互失败并将其转化为可复用、可审计的运行时干预措施来进行进化而得到的 harness 在评估未见任务时保持固定。我们在来自 τ-bench (Yao 等人2024)、τ2-bench (Barres 等人2025) 和 AgentBench (Liu 等人2024) 的七个确定性智能体环境中评估 LIFE-HARNESS涵盖家居交互、网络购物、操作系统控制、数据库任务和策略导向的业务工作流。在 18 个指令微调、推理和智能体专用主干模型上LIFE-HARNESS 在 126 个模型-环境设置中的 116 个上取得了提升平均相对增益达到 88.5%。这些 harness 仅从 Qwen3-4B-Instruct (Team 2025) 的轨迹中进化而来然后复用到其他 17 个主干模型上这表明 LIFE-HARNESS 捕获的是可复用的环境侧结构而非模型特定行为。最后LIFE-HARNESS 与模型训练是互补的它使 Qwen2.5-32B-Instruct (Team 2024) 能够超越其经过工具使用训练的衍生模型 xLAM-2-32b-fc-r (Prabhakar 等人2026)同时还能进一步提升 xLAM 本身的性能。我们的贡献有三点(1) 我们为确定性 LLM 智能体提出了基于 harness 的运行时接口自适应框架将智能体改进视为进化冻结模型与规则约束环境之间可复用接口的过程。(2) 我们引入了 LIFE-HARNESS一个生命周期感知的框架将重复出现的轨迹失败转化为跨环境合约、流程技能、动作实现和轨迹规约的有针对性的干预措施。(3) 我们展示了在七个环境和 18 个主干模型上的广泛跨模型增益在不更新模型权重或修改评估协议的情况下实现了平均约 88% 的相对改进。综合来看这些结果表明许多实际的智能体失败可以通过进化运行时接口来解决而非修改模型参数。2 相关工作Harness 优化。最近的一系列工作开始优化围绕冻结 LLM 系统的脚手架。AutoTTS (Zheng 等人2026) 搜索推理时控制器用于在数学推理中分配宽度/深度计算。工作区优化 (Sarafian 等人2026) 和持续 Harness (Karten 等人2026) 研究交互式类游戏环境中的在线自适应智能体根据自身的剧集历史修订工作区状态、提示、技能、记忆或可执行产物。HARBOR (Sengupta 和 Wang2026) 将 harness 调优视为对预先存在的功能标志进行贝叶斯优化而 Meta-Harness (Lee 等人2026) 则利用先前的候选代码、得分和执行轨迹来搜索完整的 harness 程序。更近期AHE (Lin 等人2026) 通过将可编辑组件暴露为文件、提取轨迹证据并通过预测清单验证编辑对编码智能体的 harness 进行可观察性驱动的进化。LIFE-HARNESS 共享了冻结智能体可以在模型权重之外进行改进的前提但目标范围不同。Meta-Harness 和 AHE 专注于编码智能体的自动化 harness 工程而 LIFE-HARNESS 则研究超越编码的确定性、规则约束的智能体领域包括家居交互、网络购物、数据库任务和策略导向的工作流。LIFE-HARNESS 不将 harness 视为一个待搜索或持续编辑的自由形式代码产物而是将其视为一个结构化的运行时接口其自适应由智能体交互生命周期来组织。训练轨迹中重复出现的失败被映射为针对环境合约、流程技能、动作实现和轨迹规约的固定干预措施这些干预措施随后在未见任务上进行评估并跨模型主干复用。提示自适应方法。提示优化通过重写指令、示例或提示模板来适应冻结的 LLM 系统而不是模型权重 (Agarwal 等人2024a; Fernando 等人2023)。代表性方法包括自动提示优化、LLM 作为优化器的方法如 OPRO (Yang 等人2024a)、文本梯度方法如 ProTeGi (Pryzant 等人2023) 和 TextGrad (Yuksekgonul 等人2024)以及反射式优化器如 GEPA (Agarwal 等人2025)。这些方法与 LIFE-HARNESS 是互补的它们优化面向模型的文本而 LIFE-HARNESS 则适应更广泛的运行时接口包括面向提示的合约、动作验证、反馈驱动的恢复和轨迹规约。面向 LLM 智能体的模型侧自适应。大多数智能体自适应工作通过指令微调 (Team 2024)、工具使用微调 (Prabhakar 等人2026)、强化学习 (Guo 等人2025; Xu 等人2026; Qian 等人2026)、蒸馏 (Lu 和 Lab 2025) 及相关后训练方法 (Dubey 等人2024; Team 2025; DeepSeek-AI 2026; Xiao 等人2026) 来改进模型本身。虽然这些方法可以显著改善智能体行为但其自适应仍然与特定的模型检查点和训练分布紧密耦合。LIFE-HARNESS 提供了一种互补的范式它保持模型权重冻结而是适应模型观察和行动所通过的运行时接口。3 从参数自适应到运行时接口自适应3.1 作为运行时系统的 LLM 智能体3.2 参数自适应 vs. 运行时接口自适应传统方法通过从训练轨迹更新模型参数来适应智能体图 3训练任务上的失败诊断。将任务特定结构吸收到权重中。这种参数自适应本质上是模型和任务特定的当基座模型改变或部署到新环境时必须重复。我们研究一种互补方法保持 θ 固定同时适应运行时 harness4 方法LIFE-HARNESS我们提出 LIFE-HARNESS一个为确定性 LLM 智能体设计的进化生命周期运行时 harness。该 harness 适应模型-环境接口而非模型权重。它作用于第 3.1 节定义的交互循环环境合约 C、任务描述 x、环境状态 st​、模型动作 at​ 和轨迹 τt​。4.1 失败诊断在设计 harness 之前我们首先诊断基座智能体的主要失败模式。我们在多样的交互式智能体环境中的训练任务上评估冻结的 Qwen3-4B-Instruct并手动检查失败的轨迹。对于每个失败的情节我们根据智能体-环境循环中最早的主导瓶颈并遵循附录 A.1 中详述的分类规则为其分配一个主要失败类型。所得分类法总结于图 3。我们识别出四个重复出现的类别。动作实现失败发生在模型的意图看似合理但未以环境可执行的形式表达时例如自由形式的动作或缺少参数。环境合约不匹配发生在动作在语法上可执行但违反了预期的工具使用或调用协议时。轨迹退化发生在单个动作有效但情节陷入重复、停滞或无效恢复时。其余的通用推理失败源于尽管基本遵循协议但推断、计算或决策不正确。如图 3 所示确定性智能体失败是异质的所有四个类别在实践中都会出现且主导模式因环境而异。这促使需要一个具有多个干预点的 harness涵盖环境合约澄清、流程检索、执行前动作验证和执行后轨迹规约。图 4LIFE-HARNESS 概览。该 harness 通过跨越交互前、任务条件化、环境执行前和执行后四个生命周期层来适应模型-环境接口。例如自由形式的动作或缺少参数。环境合约不匹配发生在动作在语法上可执行但违反了预期的工具使用或调用协议时。轨迹退化发生在单个动作有效但情节陷入重复、停滞或无效恢复时。其余的通用推理失败源于尽管基本遵循协议但推断、计算或决策不正确。如图 3 所示确定性智能体失败是异质的所有四个类别在实践中都会出现且主导模式因环境而异。这促使需要一个具有多个干预点的 harness涵盖环境合约澄清、流程检索、执行前动作验证和执行后轨迹规约。4.2 概述在上述失败诊断的指导下LIFE-HARNESS 包含四个层集成在智能体生命周期的不同阶段。图 4 提供了 LIFE-HARNESS 的概览。环境合约层在交互前运作。它明确稳定的环境约束包括工具使用规则、策略约束以及智能体在目标环境中经常遇到的常见陷阱。流程技能层在任务条件化阶段运作。它维护一个从训练轨迹中提炼的技能库并根据用户的任务描述检索相关技能。该层为通用决策提供非参数化指导。动作实现层在模型输出动作之后、环境执行之前运作。它验证动作在环境合约下是否可执行规范化处理明确的接口级错误并阻止那些会确定性失败的动作。该层确保模型预期的操作被可靠地映射到有效的工具调用或环境动作。轨迹规约层在收到环境反馈后运作。它监控更新后的轨迹查找非进展模式如重复、停滞或预算耗尽并在需要时触发恢复。该层专门针对轨迹退化。这些层共同适应了模型与环境交互的运行时接口。模型权重保持不变评估环境也未改变。4.3 LIFE-HARNESS 的详细设计4.3.1 环境合约层4.3.2 流程技能层该层提供来自训练轨迹的非参数化指导。技能是一个紧凑且可复用的策略它捕捉了如何完成特定子任务的精髓。4.3.3 动作实现层4.3.4 轨迹规约层轨迹规约层在环境执行后监控交互。许多智能体失败是自我强化的智能体重复相同的无效命令在等价状态之间循环或在没有取得进展的情况下耗尽预算。这类失败通常可以从轨迹级模式中检测到而不需要深层语义理解。给定已执行的动作、返回的观察、剩余预算和环境证据该层计算4.4 轨迹驱动的 Harness 进化LIFE-HARNESS 是在编码智能体 Codex (OpenAI 2026) 的协助下从训练轨迹中进化而来的。我们在训练任务上反复执行一个冻结模型以收集完整的交互轨迹。然后编码智能体读取这些轨迹以及 harness 设计标准并提出对各层的更新。目标有两个(1) 扩展 harness 对重复失败模式的覆盖范围以及 (2) 检测回归情况即干预措施可能过度触发或损害原本正确的行为。用于 harness 进化的提示以及每个任务生成的最终 harness 在附录 A.2 中提供。5 实验5.1 实验设置基准测试。我们在三个基准套件上评估 LIFE-HARNESSτ-bench (Yao 等人2024)、τ2-bench (Barres 等人2025) 和 AgentBench (Liu 等人2024)涵盖七个任务场景Airline、Retail、Telecom、ALFWorld (Shridhar 等人2020)、WebShop (Yao 等人2022)、OS 和 DBBench。这些基准共享我们设置的核心属性稳定的环境和确定性的任务使得运行时 harness 成为一个高杠杆效应的自适应目标。模型。我们使用 Qwen3-4B-Instruct (Team 2025) 作为 harness 进化的源模型。具体来说我们在训练任务上运行它收集轨迹并使用编码智能体 Codex (OpenAI 2026) 来检查轨迹并迭代更新 harness。在 harness 进化过程中测试集始终保持隐藏以确保泛化能力。最终进化得到的 harness 被冻结并用于评估其他 17 个开源模型主干。我们的模型集涵盖 Qwen 系列模型 (Team 2024 2025; Qwen Team 2026)、Llama 系列模型 (Dubey 等人2024) 和 xLAM 系列模型 (Prabhakar 等人2026)包括指令微调模型、推理模型以及在智能体基准上后训练的模型。评估参数。所有评估均使用采样温度 0.0。对于 τ-bench 和 τ2-bench我们使用 DeepSeek-V4-Flash (DeepSeek-AI 2026) 作为用户 LLM并对每个任务评估三次报告单次运行成功率和 Pass^3其中 Pass^3 要求所有三次运行均成功。对于 AgentBench每个任务按照官方实现评估一次。更多详细的任务配置在附录 B 中提供。5.2 主要结果LIFE-HARNESS 的性能提升。表 1 报告了 LIFE-HARNESS 在所有基准测试中带来的性能提升结果在 18 个模型上取平均值而图 5 提供了在 18 个模型和 7 个基准上的逐模型-逐基准的详细分解。我们有两个观察结果。1) LIFE-HARNESS 在所有基准测试上均持续提升性能取得了 10∼84% 的相对增益。借助进化的运行时 harness较小的模型可以变得与显著更大的基线模型具有竞争力。2) 尽管 LIFE-HARNESS 仅从 Qwen3-4B-Instruct 的轨迹进化而来但它广泛地泛化到其他主干模型92% 的模型-基准设置得到改进涵盖了指令模型、推理模型以及专门为智能体任务训练的模型。这些结果表明LIFE-HARNESS 捕获的是可复用的环境侧结构而非模型特定行为。完整的实验结果在表 8 中提供。进化动态。图 6 显示了 Qwen3-4B-Instruct 在每个任务上随着 LIFE-HARNESS 迭代进化而变化的训练集性能。性能在进化轮次中稳步提升并最终饱和这表明迭代式 harness 进化既实用又高效。快速收敛也反映了四层设计的好处其中更新被定位到可识别的失败模式而不是将 harness 作为一个无约束的整体进行重写 (Lee 等人2026; Lin 等人2026)。图 5在 18 个模型主干和 7 个基准上的绝对性能提升。表 1在 18 个模型主干上取平均的主要结果。表 2在 Qwen3-4B-Instruct 上进行的留一层消融实验。数值表示与完整 LIFE-HARNESS 相比的相对准确率下降。“Contract”、“Skill”、“Action”和“Trajectory”分别代表环境合约层、流程技能层、动作实现层和轨迹规约层。与提示进化的比较。图 7 将 LIFE-HARNESS 与提示进化方法 (Agrawal 等人2025; Yang 等人2024a) 进行了比较后者仅迭代优化输入提示。虽然仅优化提示能提供适度的增益但 LIFE-HARNESS 实现了显著更高的 Pass1 性能平均增加了约 120% 的相对改进。这一差距突显了智能体任务的一个关键特性性能不仅取决于初始提示还取决于运行时如何中介工具、动作、反馈和多步骤轨迹。5.3 消融研究所有生命周期层均至关重要。表 2 显示了 LIFE-HARNESS 的留一层消融实验结果。结果表明LIFE-HARNESS 中的所有四个层都是不可或缺的移除任何一层都会在某些数据集上导致显著的性能下降。此外不同的任务受益于不同的层反映了其任务环境的独特特征。模型训练能否消除 Harness 的需求图 8 比较了专门的工具使用训练与 LIFE-HARNESS。我们使用 xLAM2-32B 作为代表性训练模型它从 Qwen2.5-32B-Instruct 初始化并在与 τ-bench 相关的工具使用场景上进行了进一步训练。结果显示了三个模式。1) Harness 可以在不进行权重更新的情况下超越专门的训练配备 LIFE-HARNESS 的 Qwen2.5-32B 在域内 τ-bench 设置上比 xLAM-2-32B 高出 7.5 个百分点。2) Harness 在训练后仍然有益将 LIFE-HARNESS 应用于 xLAM 在所有评估的基准组上均提升了 6.8∼28.9 个百分点。3) 专门的工具使用训练不一定能迁移到域外 (OOD) 智能体环境在 τ2-bench 和 AgentBench 上xLAM 的表现不如其基座模型 Qwen2.5这表明 OOD 泛化能力有所下降。我们在 xLAM-2-8B从 Llama-3.1-8B-Instruct 训练而来上观察到了相同的趋势。这些结果表明训练和 harness 适应了智能体系统的不同部分训练将模型参数调整到源分布而 LIFE-HARNESS 则将运行时接口适应到目标确定性环境。因此harness 针对的是可复用的环境侧结构并且保持模型无关性与模型训练互补。6 结论我们提出了 LIFE-HARNESS一个为确定性 LLM 智能体设计的生命周期感知的运行时 harness。LIFE-HARNESS 不更新模型参数而是从训练轨迹中进化出可复用的接口干预措施涵盖环境合约、流程技能、动作实现和轨迹规约。在七个环境和 18 个模型主干上LIFE-HARNESS 在保持模型权重和评估环境均固定的情况下取得了广泛的性能提升。这些结果表明许多智能体失败可以通过适应冻结 LLM 与规则约束环境之间的运行时接口来缓解为以模型为中心的智能体训练提供了一种补充替代方案。图 8专门的工具使用训练与运行时 Harness 之间的比较。Harness 可以在不更新模型权重的情况下优于工具使用训练在训练后仍然有效并缓解了专门训练有限的 OOD 迁移问题。局限性本工作聚焦于确定性的、规则约束的智能体环境其中工具接口、反馈规则和评估标准相对稳定。这种设置在数据库操作、网络购物和策略导向的业务工作流中很常见它使得失败可以被重现并转化为可复用的 harness 干预措施。关于运行时 harness 的相关先前工作也主要集中于编码或基于文本的智能体其中接口和任务结构是明确定义的 (Lee 等人2026; Lin 等人2026)。然而将同样的想法扩展到完全开放式的智能体任务仍然具有挑战性。在开放域设置中 (Ye 等人2026)每个任务可能涉及不同的目标、工具、外部资源和成功标准这使得定义一个稳定的运行时接口或进化出一个能泛化到任意任务的 harness 变得更加困难。我们认为在这种开放式环境中构建 harness 是未来研究的一个重要方向。附录A.1 失败标注协议我们在编码智能体 Codex (OpenAI 2026) 的协助下标注失败的轨迹。对于每个失败的情节Codex 读取完整的交互轨迹并根据以下基于规则的协议分配一个主要失败类别。分类是逐轨迹进行的而非基于聚合统计。我们使用基于优先级的协议标注者首先检查动作实现失败然后是环境合约不匹配接着是轨迹退化最后将情节归入剩余类别。此优先级顺序防止了后来的症状掩盖了早期的接口失败。例如如果一个智能体以纯文本形式编写了工具调用环境从未执行它并且情节最终耗尽了步骤预算我们将其标注为动作实现失败而非轨迹退化。动作实现失败。此类别对应于动作实现层所针对的失败。如果满足以下任一条件失败的情节将被归为此类助手没有生成可执行的 tool_calls而是在 content 中写入了本应通过工具提交的动作或答案例如 take_action({...})、answer_action({...})、自然语言命令、SQL 文本或最终答案文本。助手生成了一个工具调用但由于无效的函数名、JSON 解析失败、缺少必需参数或参数类型不正确而无法执行。在 DBBench 中SQL 查询由于接口、方言或格式违规而无法执行例如包含空格的列名未加引号、表名格式错误或无效的连接语法。关键标准是模型的意图可能是合理的但它未以环境可执行的形式提交。环境合约不匹配。此类别对应于环境合约层所针对的失败。仅当动作接口可执行时才考虑此类别。如果满足以下任一条件失败的情节将被归为此类智能体在关键步骤中使用了错误的工具例如在需要答案提交工具时调用了完成工具。工具选择或调用顺序违反了任务协议例如过早提交、跳过了必需的中间工具或使用了搜索工具来编码不应直接搜索的约束。参数具有不正确的语义格式尽管它满足了 JSON 或模式级别的接口要求。例如在 DBBench 中最终答案可能被要求是一个精确的值或列表但智能体提交了自然语言解释或者多列结果被连接成自由格式的文本而非要求的格式。关键标准是函数调用在结构上存在且可执行但智能体误解了工具的目的、边界、调用协议或参数语义。轨迹退化。此类别对应于轨迹规约层所针对的失败。仅当动作实现失败或环境合约不匹配不是主要原因时才考虑此类别。如果满足以下任一条件失败的情节将被归为此类情节因达到任务限制或等效的预算耗尽信号而结束并且轨迹包含明显的重复模式例如重复发出相同动作、在两个状态之间振荡、重复调用 look、inventory 或 examine、重复搜索或点击、或重复返回同一页面。智能体过早地采用了一个错误的策略并在整个轨迹中强化它例如搜索一次后未比较候选对象或所需属性就购买或者在未能找到目标后重复访问已探索过的位置。环境多次返回非进展反馈例如在多步中返回“Nothing happens”或页面/状态不变。关键标准是单个动作通常是可执行的但长时程交互未能利用环境反馈来修正策略。剩余推理失败。当以上类别均不适用时失败的情节将被归为此类。此类别包括工具使用协议基本遵循但智能体做出错误推理、计算、SQL、检索或值选择决策的情况。它还包括智能体检索到错误的对象或答案且原因不可归因于工具协议误解或轨迹循环的情况或者正确的任务路径已尝试但最终值、条件或过滤逻辑错误的情况。A.2 Harness 进化提示我们使用编码智能体 Codex (OpenAI 2026) 从训练轨迹进化 LIFE-HARNESS。该智能体被提供(1) 当前的 harness 实现(2) 包含上一轮训练轨迹和摘要指标的目录以及 (3) 描述四个生命周期层的设计指南。用于 harness 进化的提示如下所示。轨迹驱动的 Harness 进化提示模板系统指令。你是一个编码智能体负责为确定性 LLM 智能体环境改进运行时 harness。你的目标是通过适应冻结模型与环境之间的运行时接口来提升任务性能而不改变模型权重、基准任务或环境评估逻辑。输入。你将获得当前的 harness 实现{HARNESS_DIR}上一轮的轨迹目录包括摘要指标{TRAJECTORY_DIR}harness 设计指南{DESIGN_GUIDE}。以下内容可能包含在此文件中或直接提供给模型。Harness 设计原则。harness 包含四个生命周期层环境合约层在交互前澄清稳定的工具、动作、策略和答案格式约束。流程技能层检索从训练轨迹中提炼的紧凑流程技能并将其与当前任务状态对齐。动作实现层在执行前验证模型生成的动作规范化处理明确的接口级错误并阻止会确定性失败的动作。轨迹规约层监控执行后的轨迹检测重复失败或非进展行为并在需要时触发恢复。使用这些层来解决运行时接口失败而不是使用隐藏的预言机信息来解决任务。Harness 可以暴露稳定的环境侧结构但不得使用测试标签、修改基准任务、改变环境转换或更改评估标准。分析要求。检查上一轮的轨迹并识别重复出现的失败模式。对于每种模式确定在生命周期中最早可以可靠检测或预防它的点交互前通过合约澄清任务条件化期间通过流程技能检索环境执行前通过动作验证或规范化执行后通过轨迹监控和恢复。专注于可以从确定性环境信号中机械识别的失败例如无效的动作格式、错误的工具约定、缺少必填字段、重复的无操作动作、循环、过早提交、预算耗尽或重复出现的流程错误。更新要求。提出并实现针对相应 harness 层的目标更新。每个更新应满足以下约束它应由精确的环境或轨迹证据触发它应尽可能局部化和最小化当正确动作不明确时它不应覆盖模型推理它应保留原始环境和评估协议它应对来自同一环境的未见任务具有鲁棒性。回归检查。实现更新后检查 harness 可能过度触发、阻止有效动作、注入误导性指导或降低先前成功轨迹性能的情况。如果任何一层引入了负面副作用请修订 harness。输出。返回对所发现的主要失败模式的简洁总结每个提议更新所负责的 harness 层实现的代码更改对每个更新为何在确定性环境合约下安全的简短解释任何应在下一次迭代中监控的剩余失败模式。A.3 最终进化的 Harness 清单本附录总结了在七个评估场景中使用的具体 harness 组件。该清单遵循主方法部分中描述的四个生命周期层。这些组件的详细实现可在我们提交的代码库中找到GitHub。ττ-bench 和 τ2τ2-bench 的 harness 组件列于表 5AgentBench 的组件列于表 6 和表 7。B 附加实验数据集统计和划分。表 3 报告了我们实验中使用的数据统计信息。对于每个环境我们区分了原始训练池、用于 harness 进化的子集以及保留的测试/评估集。“Train Used”列表示为每次 harness 进化运行采样的训练示例数量而不是在每次运行中执行的完整原始训练池。这种设计保持了 harness 进化的效率同时确保评估是在 harness 构建期间未使用的保留任务上进行的。“Used Total”列报告了我们实验中实际使用的示例总数“Raw Pool Total”报告了每个环境的完整可用池大小。详细评估配置。表 4 总结了详细的评估配置。对于流程技能层我们在所有实验中都只使用排名第一的检索技能以防止不相关的技能污染模型上下文。主要结果。表 8 报告了 LIFE-HARNESS 在 18 个模型主干和 7 个基准上的完整结果显示了在不同模型和环境中的一致增益。C AI 助手使用说明我们使用 AI 助手进行语言润色以提高稿件的清晰度。在实验实现方面运行时 harness 的迭代开发得到了编码智能体 Codex 的协助。所有实验设计、分析和最终结果均由作者审阅和验证。