这项由斯坦福大学与加州大学伯克利分校联合开展的研究以arXiv预印本形式于2026年7月6日发布编号为arXiv:2607.05391v1参与机构还包括NVIDIA Research。感兴趣的读者可通过该编号在arXiv平台上查阅完整论文。**一、故事从一个根本性的困境开始**假设你是一家公司的招聘主管手头有一百份求职简历。你有一位助理他工作能力极强给每份简历都打了分——但问题是他只会打好或不好两个档次没有非常好、还行、勉强过关这些细分。最终你发现有三十份简历都被标成了好你根本无法从中挑出最适合的那一个。这就是当前AI领域里一个真实存在的困境。当人工智能系统被要求判断一个答案好不好时它往往只能给出粗糙的整数分数比如7分或8分。当两个答案都是8分的时候AI就陷入了僵局——它无法做出更精细的区分。斯坦福和伯克利的研究团队把这个问题提炼成了一个核心洞察AI领域长期以来热衷于让模型生成更好的答案却忽视了让模型验证答案这件事同样可以被系统性地改进和扩展。他们将验证定位为一个全新的可扩展维度就像过去几年间研究者们不断扩大训练数据规模、增加模型参数量、延长推理时间一样——验证能力本身也可以被做大做强。于是他们开发了一套名为LLM-as-a-Verifier大语言模型作为验证器的通用验证框架。这套框架不需要专门的额外训练却能在代码编写、机器人控制、医疗诊断等截然不同的领域里都显著超越当前最先进的同类系统。**二、裁判和鉴定师的本质区别**要理解这套框架的核心思想先要弄清楚两种角色的区别。一位足球比赛的裁判他的工作是在90分钟结束后给出主队赢或客队赢或平局这三种结果之一。他的判断是离散的、有限的。而一位葡萄酒品鉴师在品尝一瓶酒之后会告诉你这瓶酒的单宁感大约在73分果香气在81分整体余味大概77.5分——他的评判是连续的、细腻的能捕捉到极其微妙的差异。现有的AI判断系统更像裁判它被要求给出一个离散的整数分数比如这个答案得7分。它会从自己的概率分布里找到最有可能的那个整数然后直接输出。这个过程会把大量的内部信息丢掉——就像把一张精细的彩色照片强行转成只有黑白两色的剪影大量细节在转换过程中消失了。LLM-as-a-Verifier的关键创新在于它不丢弃这些信息。具体来说AI在内部其实对每个可能的分数都持有一个置信概率。比如对于一个答案AI内部可能是这样认为的给这个答案打18分的概率是35%打17分的概率是28%打19分的概率是22%打16分的概率是15%……传统方法直接取最高概率的那个值得出18分就完事了。但LLM-as-a-Verifier会把所有这些概率乘以对应的分值然后全部加起来——类似于一个加权平均数最终得到一个像17.94分这样的连续数值。这个连续数值的意义在于当两个答案分别得到17.94分和17.52分时它们之间就存在了可以比较的差距而不再是无法区分的都是18分。研究团队在实验中发现传统的离散打分方式在评判复杂解决方案时有高达27%的概率出现平局——也就是两个质量明显不同的答案被判定为同分。而连续打分方式的平局率直接降为零。**三、三把放大镜让验证越来越精准**沿着这个核心思路研究团队发现验证的质量可以沿着三个独立的维度同时提升就像给同一台显微镜装上三个不同方向的调焦旋钮。第一个旋钮叫做评分粒度。传统方式只在1到5分之间打分备选分值只有五个整数。LLM-as-a-Verifier可以把评分范围扩展到1到20分甚至更多档次。注意这里用的是字母标签而非数字——因为字母能更方便地从模型内部提取对应的概率值。当可选分值从5个扩展到20个时模型内部那些细微的差异感就有了更多的空间来呈现自己就像一把直尺上的刻度从厘米变成了毫米测量精度自然提高了。实验数据显示把粒度从1只用最高概率的一个分值扩展到20时验证准确率从73.1%提升到了77.5%。研究团队用信噪比这个概念来量化这种改善——随着粒度增加正确答案和错误答案之间的分数差距相对于评判的不稳定性来说越来越大信噪比从0.775增加到0.799。第二个旋钮叫做重复评估。哪怕同一个验证器对同一对答案在不同时刻问它也可能因为各种随机因素得到略有不同的结果。解决办法很简单多问几次取平均值。这就像气象预报不依靠单一观测站的数据而是汇集全国数百个气象站的信息再综合分析。当重复评估次数从1次增加到16次时准确率从74.7%上升到77.5%。更关键的是单次连续评估不重复的准确率就已经达到74.7%而离散打分方式即便重复16次才达到74.4%——连续评估单次就赶上了离散方式穷尽16次的表现。第三个旋钮叫做标准分解。假设你要评判一位学生的文章你可以直接问这篇文章好不好——但这个问题太笼统了评判者往往会被某一个最显眼的特征带偏忽略其他维度。换一种方式分别问这篇文章的语言表达如何、论点是否清晰、论据是否充分然后把三个维度的评分综合起来。这种把大问题拆成小问题的思路能有效减少评判时的偏差。对于代码类任务研究团队把这个解决方案正确吗这个问题分解成三个子问题任务规格是否满足、输出格式是否正确、执行过程中有没有明显错误。任意单一标准的准确率在75.2%到76.4%之间而三者综合之后达到78.3%。当这三个维度同时发挥作用时验证准确率最终达到78.3%相比最初的基线提升了超过5个百分点。**四、锦标赛选拔在预算有限的情况下找到最佳答案**理解了验证的基本原理之后还有一个实际问题需要解决当有N个候选答案等待比较时如果对每一对都进行完整验证需要做N×(N-1)/2次比较。当N20时这意味着190次比较代价相当高。研究团队为此设计了一个叫做概率枢轴锦标赛Probabilistic Pivot TournamentPPT的算法把这个过程变得更高效。整个过程分五步走颇像一场体育赛事的赛制设计。第一步让所有N个候选答案参加一圈循环赛——把它们随机排成一个环形队列相邻的两两比较每个答案刚好当一次A选手、一次B选手。这个环形设计还有一个妙用AI在评判时往往对放在A位置的答案略有偏袒环形结构让每个答案都经历两种位置系统性偏差在统计上相互抵消。第二步根据循环赛的得分挑出表现最好的前k个答案称为枢轴组。第三步让每个非枢轴答案都与枢轴组里的每一个成员各比一次。第四步枢轴组成员之间也互相比较一轮。第五步汇总所有比较结果以获胜概率之和除以参赛次数作为最终得分取最高分的那个答案。这个算法把比较次数从O(N?)降低到了O(Nk?)当k远小于N时节省相当可观。实验数据表明用k5个枢轴时只需6609次比较就能达到66.27%的选择准确率而全量比较需要13111次才能达到67.42%——用不到一半的代价换来超过98%的效果。更重要的是这套方法在相同预算下明显优于此前最先进的V1方法。**五、在四个真实战场上的表现**有了这套理论框架研究团队把它实际部署到了四个完全不同的任务场景中检验它的普适性。第一个战场是Terminal-Bench V2这是一个考察AI在命令行环境中完成复杂任务能力的基准测试任务包括文件操作、多步骤推理、从失败的工具调用中恢复等。这类任务对验证器来说尤其难——很多错误答案在表面上看起来完全合理只有深入追究细节才能发现问题。研究团队用GPT-5.5生成每个任务的5个候选答案再用LLM-as-a-Verifier选出最佳的一个。最终准确率从83.1%单次生成提升到86.5%超越了当时排行榜上所有其他系统包括GPT-5.584.7%、Claude Opus 4.780.2%等。值得一提的是一个具体案例。在query-optimize任务中AI需要优化一段运行缓慢的SQL查询同时保证结果完全一致。两个候选答案表面上都通过了验证但实际上一个答案的验证过程存在严重缺陷——它没有在原始数据库上验证等价性而是先复制了数据库、添加了索引再在这个被修改过的数据库上运行对比。这就像考试作弊在答题纸上先偷偷把答案改了再对着改过的答题纸验证答案正确——逻辑上完全错误。验证器用带有略微、稍微更直接这样细微措辞的分析报告识别出了这个问题但传统的离散打分方式把这种细微差异完全淹没了100次评判中有88次出现平局。而连续打分方式在相同的100次评判中有77次能够正确区分两个候选答案。第二个战场是SWE-Bench Verified这是一个要求AI根据真实的GitHub问题报告来修改代码、使其通过隐藏测试用例的基准测试共500道题。这里的候选答案来自三个完全不同的AI系统Claude Opus 4.5、Gemini 3 Flash和MiniMax M2.5验证器需要在风格迥异的解决方案中挑出最好的那个。最终准确率达到78.2%超越了三个单独系统的各自最高成绩76.8%。第三个战场是RoboRewardBench评估机器人操作任务中的奖励信号质量。这里的输入不再是文字而是多帧视频——AI需要通过观看视频判断一个机器人的操作做得有多好。验证器用的是Qwen 3.6 35B这个多模态大模型从视频帧序列中提取概率分布进行评判。结果达到87.4%的偏好准确率超越了专门用4500万条机器人操作数据训练出来的RoboReward-8B81.4%和用10亿次比较数据训练的Robometer-4B78.8%——它在零训练数据的情况下击败了用海量专业数据训练的专用系统。第四个战场是MedAgentBench评估AI在模拟电子病历系统中处理医疗任务的能力包括查询患者信息、查找诊疗指南、多步骤工具调用等。医疗场景对验证错误的容忍度极低因此格外能考验验证器的可靠性。从70.2%的基准准确率提升到73.3%超越了对比系统中的最高成绩。**六、不只是选择答案——还能实时监控进度**研究团队在实验过程中发现了一个意外而有趣的现象验证器给出的分数不只能用来比较哪个答案更好还能用来衡量一个AI执行任务走了多远。换句话说验证器的分数随着任务执行进度的推进会单调上升——越往后走分数越高。研究团队把这种相关性量化为价值顺序相关性VOC用统计学中的Spearman秩相关系数来衡量。如果分数和时间步完全正相关系数为1完全无关则为0。在代码任务上成功轨迹的VOC达到0.848而失败轨迹只有0.769——差距不大但方向很明确成功轨迹的分数更稳定地随时间上升而失败轨迹则会在某个时刻卡住或下滑。在机器人任务上这个指标的表现更加惊人。LLM-as-a-Verifier的VOC高达0.966而前一代最好方法RoboReward-8B只有0.877专门为此设计的TOPReward方法只有0.565。TOPReward会在任务早期就迅速把概率推到1.0的上限之后完全失去了区分做了一半和做了九成的能力。而连续评分方式保持了平滑的分数曲线能够精确追踪整个过程的推进状态。一个具体例子很能说明问题。在一个要求AI完成MNIST手写数字识别推理的任务里成功的AI执行路径依次是读取模型文件→安装g编译器→安装CPU版PyTorch→调整隐藏层维度→完成。验证器给出的分数沿着这个路径稳步攀升。而失败的路径则是安装了不必要的大型torchvision包→磁盘空间耗尽→编译错误→任务失败。验证器的分数在安装torchvision之后就急剧下滑提前预警了即将到来的失败。这个特性具有相当大的实用价值。研究团队据此开发了Claude Code和Codex的扩展插件TurboAgent让开发者在运行长时间任务时能实时看到一个进度条而不是盲目等待。当分数开始下滑或停滞时开发者可以提前介入避免AI走入死胡同并提交一个彻底错误的结果。**七、作为强化学习的密集奖励让AI学习更快**研究团队还把这套验证框架接入了强化学习RL训练流程用来解决一个长期困扰RL研究的经典难题稀疏奖励问题。通常情况下强化学习的训练方式是做对了给奖励做错了没奖励——奖励只在任务完成时才出现一次。这就像教一个孩子玩迷宫只有走到出口才告诉他你做对了整个过程中没有任何中间反馈。孩子学得会但要走很多弯路学习效率很低。LLM-as-a-Verifier的进度评分天然可以充当密集奖励——在每一步都给出反馈告诉AI你现在走对了多少让训练信号更加丰富和及时。在机器人操作任务LIBERO上研究团队把π0机器人控制策略用SAC算法进行强化学习微调。稀疏奖励版本需要大约80万步训练才能达到50%的任务成功率而加入了验证器密集奖励之后只需大约45万步就能达到同样的成功率——效率提升约1.8倍。不仅如此密集奖励版本最终能达到76%的成功率而稀疏奖励版本只能达到69%的成功率上限。在数学推理任务MATH基准测试上研究团队对Qwen3-8B语言模型用GRPO算法进行微调。验证器在这里扮演了一个特殊角色当训练早期所有候选答案的最终答案都是错的时候传统方法无从比较、无法产生有效的训练梯度。而验证器可以评估推理过程本身的质量——哪怕最终答案都错了推理链条更严密的那个答案仍然能得到更高的分数从而为训练提供有效信号。最终在数学任务上实现了约1.1倍的训练效率提升。**八、这套方法的边界和未来**研究团队在论文中也坦诚地列出了当前框架的局限性。最主要的限制是这套框架需要访问模型内部的评分概率分布即logprobs而一些商业AI接口并不提供这个功能。为此研究团队设计了一个两阶段的变通方案先用一个功能强大但不提供概率分布的封闭模型如GPT-5.5来进行推理分析生成文字版的思考过程再把这段思考过程交给一个能提供概率分布的开放模型如Gemini 2.5 Flash来完成最终的概率评分。实验表明这种借用推理、自己打分的方式在单次评估时就能比直接用封闭模型的离散打分高出5.2个百分点80.1% vs 74.9%且完全消除了平局现象。另一个局限是目前的评判标准即评估从哪些角度来看还是人工设计的未来可以尝试让模型根据不同任务自动生成最合适的评判角度。此外重复评估的次数是固定的未来可以根据验证器自身的不确定程度来动态分配计算资源把计算力花在真正需要的地方。目前的强化学习实验也仍限于单轮任务场景在更复杂的多轮交互RL场景中如何让验证器在每个时间步都提供有意义的奖励信号是下一步值得深入的方向。说到底这项研究做的事情是把AI评判AI这件事从一个粗糙的二元判断变成了一个可以精细调节的连续测量工具。就像温度计比摸起来热不热更能准确反映体温一样连续的、可扩展的验证分数比离散的整数评级更能捕捉到两个复杂方案之间的真实差异。这对普通用户意味着什么当你使用AI工具解决复杂问题时未来的AI系统可能会在幕后悄悄生成多个候选方案再用这套验证框架自动帮你挑出最靠谱的那个——就像你去餐厅点餐时厨师已经把几道备选菜品都做了一遍只把品质最好的那道端上桌。而且当AI在执行一个长时间任务时它自己的进度感知也会更加准确一旦偏离正轨就能提前意识到而不是把错误的结果一路执行到底才发现问题。有兴趣深入了解技术细节的读者可以通过编号arXiv:2607.05391在arXiv平台找到这篇论文的完整版本。---QAQ1LLM-as-a-Verifier和普通的AI评分有什么本质区别A普通AI评分方式会直接输出一个整数比如7分或8分这个过程会丢弃大量内部信息。LLM-as-a-Verifier的做法是把AI对每个可能分值的概率全部提取出来再做加权求和得到类似7.83分这样的连续数值。这个连续数值几乎不会出现两个答案分数完全相同的情况从而避免了传统方式高达27%的平局率让更细微的质量差距也能被识别出来。Q2这套验证框架不需要额外训练数据为什么还能超过专门训练的模型A核心原因在于它利用的是大型语言模型或多模态模型内部已经积累的丰富知识而不是针对特定任务微调的窄域能力。传统专用奖励模型的知识范围受训练数据限制一旦遇到训练分布之外的情况就容易失效。LLM-as-a-Verifier通过概率分布的连续评分、多次重复取平均、多角度标准分解这三种方式把通用大模型内部本已存在的细粒度判断能力更充分地释放出来因此在零样本情况下也能达到很强的性能。Q3概率枢轴锦标赛PPT为什么要设计环形循环这一步A这是为了消除AI评判时的位置偏差。研究发现当两个答案分别放在提示词的A位置和B位置时AI对A位置的答案往往有轻微的系统性偏好。环形循环让每个候选答案都恰好当一次A、一次B两种位置的偏差在统计上相互抵消使得后续比较的结果更加客观。这个设计思路类似于体育赛事中的主客场轮换制确保没有哪个参与者因为主场优势而被系统性地高估或低估。