标题Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading来源arXiv, 2607.08964v1️文章简介研究问题现有终端基准仅关注短时任务和最终结果如何有效评估智能体在长时复杂任务中的中间进展与真实能力主要贡献论文提出Long-Horizon-Terminal-Bench通过子任务级密集奖励机制精准量化智能体在长时终端任务中的部分进展与失败模式。重点思路构建包含46个任务的基准集涵盖实验复现、软件工程等九大类每个任务需数百步交互及数十分钟至数小时执行专门测试长时规划与调试能力。设计基于子任务的密集评分体系将长任务分解为语义明确的细粒度检查点支持二元、连续阈值及多轮聚合三种评分方式提供部分学分而非仅二元成败。采用容器化环境封装真实专业工作流设置低权重公开测试与高权重隐藏压力测试防止模型过拟合表面规则确保评估鲁棒性。利用确定性验证器在运行结束后自动计算归一化奖励分数结合通过率与平均奖励双指标全面刻画模型完成任务的程度与效率。对15个前沿模型进行统一框架评测记录Token消耗、交互轮次、执行时长及成本并从超时、提前退出等维度深入分析失败原因。分析总结当前最强模型GPT-5.5在0.95奖励阈值下通过率仅为15.2%平均通过率仅4.3%表明长时执行仍是智能体的核心瓶颈。密集奖励揭示了64.6%的运行取得了实质性部分进展而二元评估会将这些有意义的尝试误判为完全失败证明细粒度评分的必要性。79%的未解决任务源于超时而非代码错误说明主要挑战在于长时进度维持与时间预算管理而非单步推理正确性。存在大量“虚假完成”现象即智能体在未满足隐藏验证条件时自信地提前终止暴露出自我验证能力弱和停止判断不准的问题。成本与性能并非线性相关部分模型花费更高但效果更差显示单纯增加推理投入无法解决长时规划缺陷需优化探索效率与状态管理。个人观点论文用过程奖励替代结果奖励来评估长时任务精准定位了智能体“做得对但做不完”以及“自以为做完”的深层缺陷。