强化学习新算法在本栏目之前的文章《Jeff Dean们赶在贝叶斯AI到来之前跳船》我们谈自进化时提到的其中重要的一个坎儿就是模型的搜索空间很狭窄解了半天都是组合和桥接。而自进化研究已经开始防范这种解法收敛只是大多数工作把手术做在模型外面。比如Sakana AI与UBC团队的Darwin Gödel Machine维护的是一个不断扩张的Agent档案。它从不同祖先产生变体让多条谱系并行发展。实验中系统在SWE-bench上的成绩从20.0%提高到50.0%Polyglot从14.2%提高到30.7%。作者反复强调stepping stones的作用。某次修改可能暂时落后却在后面成为突破所需的垫脚石。Varun Gumma等人提出[IDEAgent把科研构思直接定义成Quality-Diversity Search要在进行搜索后选的差异时同时追求质量和差异。自进化系统的搜索其实要经过两道选择。第一道发生在模型内部经过训练的模型决定哪些候选值得被生成。第二道才发生在外部Loop里它决定被模型投出来的哪些候选能够活到下一轮。上面的这些探索都是放在第二道但让模型本身多点探索多样性这件事儿其实之前做的不多。外循环越开放这个矛盾反而越刺眼。后面精心维护着一棵演化树前面的RL却只肯提供同一粒种子。而长程任务会让入口的缺陷成倍放大。做一道数学题某条备选路线没有被采到损失的只是一次解题机会。做一个两百轮的程序优化任务第十轮没有出现的数据结构会让第五十轮本可以基于它产生的并行化方案也一起消失。后面每一轮都可以很聪明可它们只能在一棵早已被修剪过的树上继续攀爬。所以第一步怎么解决呢目前解决的不太好。01、强化学习的两难困境我们先来拆解一下RL面对的问题。2025年初研究者谈论强化学习时使用的还是一套相当乐观的语言他们都觉得RL是可以让模型学到新东西的。1月22日DeepSeek发布R1的技术报告。其中最引人注目的是R1-Zero模型它用的GRPO算法只根据最终答案是否正确获得奖励却在训练过程中逐渐出现了延长思考、回头检查、尝试替代路线等行为。论文将这些变化描述为通过强化学习自然涌现出来的推理能力。于是大家都觉得是 RL 让模型学会了此前不会的推理方式。几天后包括谷歌的一个研究小组的论文《SFT Memorizes, RL Generalizes》进一步强化了这种印象。研究者让SFT模型和RL模型从同一个基础模型出发使用相同的训练任务然后测试它们能否适应没有见过的规则变化。结果SFT更容易贴着示范答案学习RL则更能适应规则和视觉条件的变化。这构成了2025年初那套「RL通过学习到了推理带来了泛化」的主要证据。RL不光让模型能解更难的题也压没了低概率解但其实传统学界一直都有一种RL不太可能带来泛化的认知过去在CV领域RL方法就是因为泛化不好所以饱受质疑而表现好的AlphaGo也就只会下棋。所以自然会有反思到来。2025年4月北大的那篇论文《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》就是第一枪。过去评估推理模型最常见的指标是pass1只让模型回答一次看它能不能答对。RL模型在这个指标上大幅超过基础模型于是人们自然地认为RL模型拥有了更强的推理能力。这篇论文却把采样次数不断提高观察passk的变化。结果采样次数较少时RL模型明显更强。采样次数足够多以后基础模型可以追上部分情况下甚至超过RL模型。研究者进一步比较生成轨迹发现RL模型常用的正确推理路径往往也能从基础模型中采样出来只是概率低得多。这给出了RL有效的另一种解释。假设基础模型面对一道题时可能产生几十种思路。正确思路只占其中很小一部分所以第一次回答经常出错。RL训练并不一定需要发明新思路。它只要不断提高正确路径的概率、压低错误路径的概率就能让pass1出现巨大提升。从产品角度看这当然是能力进步。原来需要采样几百次才能遇到的答案现在一次就能出现模型变得更可靠也更便宜。但如果研究的问题是「模型是否获得了基础模型原来不具备的能力」结论就没有那么直接。它更像是在提升已有能力的调用效率。这篇论文由此提出了一套影响很大的解释RLVR主要做的可能是distribution reshaping也就是重新安排基础模型已有输出的概率。它把高奖励路径推到分布中心同时把其他路径挤到边缘。模型不是「简单地知道得更多了」而是「更相信其中一部分了」。「RL主要在锐化分布」的说法由此开始。到25年5月28日中国团队的研究《The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models》研究了RL训练过程中模型分布怎样变化。作者观察到大量RL训练都会在早期出现「策略熵」的快速下降。模型的输出越来越确定探索能力随之减弱而性能也在这个阶段逐渐进入平台期。这里的「熵」可以理解成模型在每一步还保留多少选择。熵高说明多个token都有机会被选中而熵低则说明模型越来越确信少数几个token。作者的分析显示策略梯度更新会形成一种自我强化已经拥有较高概率、又获得正向优势的token更容易得到进一步增强。它们的概率越高后续被采样和强化的机会也越多。低概率选择则逐渐失去进入训练样本的机会。这使锐化不再只是passk曲线上的猜测而有了训练动力学上的解释。RL从当前策略中采样再用这些样本更新当前策略。某条路线一旦领先它就更容易出现在下一轮也更容易继续领先。训练看似仍在自由探索实际使用的候选集可能越来越窄。在这期间其实很多论文在测试中发现经过RL的模型可能产生出更多样的答案因此对这个锐化的结论产生了怀疑。但2025年7月斯坦福的论文《The Invisible Leash: Why RLVR May or May Not Escape Its Origin》把这种现象进行了归因。模型在每一步有很多token可选不代表它最终会产生很多不同方案。几条语言表达看起来差异很大的推理轨迹最后可能仍然落到同一种解法、同一个答案。反过来一条罕见路线可能只由早期一个概率很低的token触发却能进入完全不同的推理区域。这篇论文发现RLVR训练后token级熵有时甚至会上升但答案级熵仍然下降。也就是说模型的产出局部看起来更不确定最终却收敛到更少的答案类型。作者进一步比较基础模型与RL模型在大规模采样下的经验支持集发现RL新增的答案通常少于它丢失的答案pass1提高了但基础模型原本能够偶尔触达的一部分结果不再出现。而长程任务会进一步放大这种损失。一个方案往往需要连续通过多个低概率分叉才能形成。只要第一步的替代方向被压低它后面的所有搜索分支都会一起消失。单个token上的轻微锐化沿着几十步决策传递下去可能变成整个解法族的退出。到了10月混元团队发布的论文《Low-probability Tokens Sustain Exploration in Reinforcement Learning with Verifiable Reward》就证明了这一点。研究员们发现预训练模型中存在一些概率很低、却能引出有效新推理的token。他们把这些token称作推理火花。普通RLVR会对它们施加过强惩罚使其在训练中逐渐消失。作者通过专门保护这些低概率但有价值的token让RL训练持续更久也取得了更高的最终准确率。那么锐化的RL是怎么展现出来一种泛化的可能的呢答案是锐化和泛化并不一定发生在同一个层级。去年5月底英伟达团队发布的《ProRL》可能是对模型就是在锐化这件事给出的目前最有力的反击之一。作者没有满足于常规的短程RL而是把训练延长到两千多步同时加入KL约束、参考策略重置和更多样的训练任务。结果RL并不是在所有领域都继续锐化数学任务上仍然出现了pass1提高、pass128下降但在代码和部分逻辑任务上pass1与高k指标能够同时增长。最醒目的例子是BoxNet。这是一类需要在网格中移动智能体、搬运箱子并避免动作冲突的规划任务。在作者的实验设置下基础模型对100道测试题采样了256次缺没有生成一个被验证器接受的解ProRL模型的单次成功率虽然只有7.7%左右但随着采样量增加最终在pass256上覆盖了全部测试题。这说明RL至少在长程任务中可以把一批原本低于有限采样分辨率的任务推入可解范围。从外部看这就是能力边界扩张和「泛化」基础模型在数万次生成中没有表现出来的能力RL模型能够稳定表现出来。2026年2月北大等团队的研究《《New Skills or Sharper Primitives?》对此进行了机制解释。研究者构造了四套人工代数系统训练阶段只让模型学习一步操作测试阶段却要求模型连续执行两到五步。RL从未见过这些组合题但训练后一部分基础模型采样128次都无法解决的题变成了可以稳定解决的问题。这是因为假设一道题需要连续完成五个步骤每一步的正确率都是0.3整条推理链成功的概率会低到采样128次也经常一次都碰不到。RL如果把每一步的正确率提高到0.7整题成功率就会大幅提升。在这里模型并没有学到第六种操作也没有见过测试中的完整解法但整道题已经从几乎不可能出现变成可以稳定调用。实验中原子步骤联合正确率与最终组合任务成功率的相关系数达到0.69到0.96说明复杂能力的出现很大程度上可以由底层步骤变得可靠来解释。这就化解了「锐化为什么还能带来泛化」的矛盾。RL可以在原子能力上做锐化压低错误操作提高正确操作的概率。而这些局部变化沿着长推理链相乘却会在任务层面打开此前无法到达的区域。它没有扩大基本知识和推理原语的集合却扩大了这些原语能够稳定组合出的任务集合。因此这仍然是一种真实的泛化。只不过它不是从训练经验之外获得新知识而是组合性泛化。模型学到的是一套更可靠、可以反复调用的底层操作随后把它们用于没有见过的规则组合、更长的推理链和新的问题实例。这也说明RL依然不可缺少。对于复杂问题模型只隐约会每一个局部步骤是不够的只要其中几个环节不稳定整条推理链就会随着任务长度增长迅速坍塌。RL的作用是把这些潜在能力练到足以连续执行让原本停留在低概率尾部的组合变成可用能力。但 RL提高一批原子能力的同时也可能牺牲另一些技能和低频路径的问题在自进化时代依然严峻。它似乎陷入了一种既要又要Dilimma两难处境我们既需要它一边打开更长的正确推理链又希望它不要删除通向其他解法的分叉。这种处境能有解吗还好26年的研究很多时候基本上都在围绕着这一点进行而它们很可能会彻底改变RL的范式。02、既要又要的RL方法如果RL不再提高正确动作的概率它也就失去了最重要的价值。前面《New Skills or Sharper Primitives?》已经说明模型能够解决更复杂的问题往往不是因为突然学会了一套全新的算法而是因为原来不太稳定的底层操作被练准了。五个步骤每一步都只有七成把握连起来很容易出错每一步都提高到九成以后更长的推理链才真正可用。所以问题不是该不该锐化而是该锐化什么。最理想的状态是每一种方法内部都越来越可靠不同方法之间却还能继续共存。但传统RL很难做到这一点因为它关心的是平均得分。假设模型解一道题时60%的概率使用方法A40%的概率使用方法B。A平均得到0.9分B平均得到0.8分那么模型反复回答这道题平均得分是0.86。RL很容易发现只要多用一点A、少用一点B平均分就会上升。A提高到70%B降到30%平均分就变成0.87。于是训练继续增加A的概率。如果只看眼前这道题这个选择完全合理。A现在得分更高当然应该多用。但RL不知道B以后还有什么用。B可能更适合另一类题也可能是某种新解法的起点。只要这些未来价值没有写进当前奖励RL看到的就只有一件事减少B平均分马上会提高。目标很死板是问题之一。另一个问题是策略梯度还要加强这种死板。「策略」就是模型对不同选择分配的概率。「梯度」就是参数应该往哪个方向调整才能让高奖励选择更容易出现。把两者连起来就是模型会根据一批回答的得分调整下一次选择这些回答的概率的方法。在PPO、GRPO这类方法中模型先按照当前策略生成一批回答验证器再判断哪些答案正确。高于这一批平均水平的轨迹获得正向优势算法随后提高组成这些轨迹的token再次出现的概率低于平均水平的轨迹则被压低。RL要进行多轮而每轮RL都是从上一轮的模型中采样用上一版本给出的答案更新模型。如果一个选项A因为能提高概率它就会被加强也因此会更频繁地进入训练样本。另一个次优选项 B 本来出现得少进入下一轮训练样本的机会也小。那几轮以后A和B之间原本不大的差距就会因为在训练样本里出现的次数越滚越大。一个锐化的内循环就此定型。长推理会让这个问题更严重。一种新解法往往需要连续走过多个不常见的分叉。只要开头那一步没有被模型选中后面整条路线都不会出现。模型看不到后面的结果自然也不可能把功劳还给最初那个选择。所以期望回报平均值的目标与策略梯度分别提供了锐化的两股力量。一方面平均奖励要求模型多用当前得分最高的方法。另一方面策略梯度又让已经常见的方法更容易得到下一轮训练。一个负责把概率推向赢家一个让赢家越来越容易继续赢。而调节梯度的一种方法就是去调节目标。2026年的这些新方法基本上是在通过调整这两者来降低锐化。管住梯度给RL锐化加刹车另一个方向则是梯度。既然梯度会强化那最直接的方法就是给它加一个刹车片让它别把多样性直接碾死。2026年1月新加坡国立大学的研究《Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling》就是走的这条路。既然梯度会强化出现的多的结果那就别让它强化干脆让它弱化。论文提出了IPS-GRPO规定当一个结果出现得越频繁训练时分配给它的权重就越低。这样高频答案不会仅仅因为已经占据概率优势就继续获得与出现次数成比例的强化。而低频但高奖励的结果也不会因为很少进入采样而永远失去翻身机会。2月威斯康星大学的研究《LAD: Learning Advantage Distribution for Reasoning》也是沿着这个路径走的。不过不是给频繁结果降权而是保持初始状态的概率优势。在一开始概率优势越高的答案应该比旧模型中的概率提高得更多、优势一般的答案可以小幅提高、优势为负的答案则应该下降。假如A和B的优势相同它们的概率就应该按照相同倍数增长。A原来占10%B原来占5%更新后可以分别变成20%和10%而不是让A因为采样次数更多逐渐把B吞掉。如果A的优势高于BA当然可以获得更大增幅但这个增幅有一个与优势相称的目标不需要一直增长到接近100%。但只要一个答案仍然有价值它在这张表里就会得到相应份额而不是和最高分答案进行没有终点的竞争。在他们看来普通RL追求的是把平均优势尽可能做高而它们的方法则是试图让模型学习完整的优势分布。高价值路径仍然会得到加强但它们的概率不会毫无节制地增长其他有效路径因此有机会继续留在分布中。这一组解法的逻辑就是如果任务本来就允许多个好答案那么后训练的目标就不该是把概率全部推向其中一个。它希望形成的结果不是一个答案占据几乎全部概率而是高概率答案占得多一些其他有效答案也还能被采到。在梯度上打补丁其实也会部分调整目标。但总不如直接改目标来得直接。改目标让RL不再单线优化既然原来的优化目标太强调平均太单一那我们就改改优化的目标。想要多样性那我们就奖励多样性。但问题是奖励什么样的多样性模型在token层面表现得很活跃不代表它真的尝试了不同思路。它可以改变措辞、调整推导顺序或者多写几个中间步骤看起来生成了十条不同的轨迹实际却都在重复同一种算法。例如面对一个一元二次方程一条轨迹完整写出求根公式另一条跳过几个化简步骤第三条更换了变量名称。它们在token和语义向量上都可能存在差异但解题思路没有变化。真正不同的路线是另一条轨迹放弃求根公式转而使用因式分解。这样才算是增加了搜索入口。因此就要从这方面去奖励。2026年1月的MIT的论文《Rewarding the Rare》因此提出不应该继续用token熵间接猜测模型有没有探索而应该直接判断几条轨迹采用的是否是同一种解法。它保留了GRPO的大体框架。面对一道训练题模型仍然一次生成多条轨迹验证器也仍然负责判断答案是否正确。新增的一步是让另一个更大的语言模型阅读这一组完整推理把它们按照高层解题策略分类。如果八条轨迹中有六条都在使用求根公式一条使用因式分解另一条给出了错误答案那么前六条会被归入同一个大类因式分解单独构成一个小类。分类器只看解题计划不把变量名称、篇幅和局部化简方式的变化当成新策略。接下来算法根据每个类别的大小重新调整训练权重。一个正确解法出现得越频繁单条轨迹得到的权重就越低一个正确解法越少见它得到的权重就越高。这样错误答案不会因为足够罕见就得到鼓励正确性仍然是进入竞争的门槛。既要又要还是可以得到保障。这改变了普通RL的强化逻辑。Rewarding the Rare方法没有取消对求根公式的奖励只是不再允许它因为已经常见就按出现次数无限积累优势。因式分解那条路线虽然只出现一次却代表一个没有被其他轨迹覆盖的方向因此会获得更大的相对权重。这相当于第一次把「正确解法的稀缺性」写进了RL的更新规则作为一种重要的奖励维度。模型仍然要提高答对的概率但同一种正确答案重复十次不再等于发现了十个有价值的结果。作者在Qwen2.5-7B、Qwen3-8B和OLMo-3-7B上进行了实验测试范围包括数学、物理和医学推理。他们不只测pass1还把采样量提高到256次观察继续增加rollout能否带来新的正确结果。经过这种训练后模型的pass1没有明显受损高采样量下的passk曲线却能继续增长。更能说明问题的是作者对20道AIME难题进行的人工解法标注。他们先从竞赛题解和教材中整理出每道题的三到五种标准解法再检查模型采样32次能够覆盖其中多少种。20道题中训练后的模型与基础模型在16道题上覆盖相同。在剩下4道较难的题上训练模型覆盖了更多方法。比如其中一道几何题存在五种人工整理出的解法。基础模型采样32次只覆盖两种经过训练的模型覆盖了全部五种。另一道组合题中基础模型只找到四种参考方法中的一种而训练模型找到了三种。这些结果至少说明passk的增长不只是同一种答案在措辞上的变化。模型确实保留并强化了更多能够被人识别的解题策略。但Rewarding the Rare仍然是在给单条轨迹分配权重。它把「所在类别是否稀有」作为每条轨迹的附加信息却没有直接评价整组答案共同覆盖了多大的空间。这个区别会在更复杂的情况下暴露出来。比如一组答案里有三种策略A出现五次B出现两次C出现一次。按照类别大小C最稀有。但C究竟补充了一个全新的方向还是只是B的一个模糊变体只靠模型去判断其实风险很大。而且类别划分本身也很生硬两条路线要么被判为同类要么被判为不同类中间没有多少余地。为了解决这个问题5月MIT和Sakana AI的研究者再次联手发表了论文《Vector Policy Optimization》。奖励多样性那就干脆直接放弃单个候选生成的模式。它试图更根本改变RL优化的目标让它不再只看平均得分从一堆选项中拔一个将军出来。而是给它一组环境看哪组答案能全部适应。把通用的最佳解答改成一个会随机应变的多面手。以代码生成为例。一道题有十个测试用例程序A通过了其中八个程序B也通过了八个。传统RL通常把两者都记成0.8分。但它们可能擅长的东西根本不一样。程序A在普通输入上表现很好遇到极端数据就会出错。程序B速度较慢却能处理A解决不了的边界条件。如果训练只看平均分系统很可能留下其中一个。等到外部搜索器需要处理那个罕见条件时另一个方案已经不在模型的常用分布里了。VPO会保留每个测试用例的结果。程序得到的不再只是0.8而是一串更具体的记录第一项通过第二项失败第三项通过。这样系统就能看出两个同为0.8分的程序究竟有什么区别。训练时VPO让模型一次给出多个候选再反复改变各项测试的权重。有时更重视常规输入有时更重视边界条件。模型要在这些不同要求下都取得好成绩就不能把候选只收敛到一个可能性上。如果每次它都只加强程序A的概率那么它能解决的仍然只是A擅长的那部分问题。只有把A、B以及其他有不同长处的方案都交出来这组答案的总成绩才会提高。因此VPO奖励的单位已经从「一个最高分的答案」变成了「一组互相补位的答案」。论文还在多跳问答、迷宫导航和工具调用上采用了同样的设计。多跳问答可以分别检查每一步是否正确。而工具调用则可以分别检查工具名称、参数格式和参数内容。模型不必把所有能力压进一种潜在解决方案里而可以让不同候选解决不同的难点。迷宫实验的数据很能说明这种解法的优势。普通GRPO的best3是0.432。将候选数量从3个增加到5个、10个和30个以后成绩仍然是0.432。这说明后面增加的27次生成大多没有带来新的有效路线。而VPO的best3是0.512增加到30个候选后达到0.593。这说明多给模型采样预算系统还保有着找到新路线的方法。这种差别放进外部搜索Loop以后更明显。研究者把VPO和GRPO训练出的代码模型分别接入OpenEvolve在32道两边都无法通过普通采样解决的题目上继续迭代。经过200轮改写和测试GRPO较早进入平台期VPO仍能产生新的候选并解出一部分原本两边都解不开的问题。这正好补上了自进化系统的第一道缺口。VPO所做的是让模型在训练阶段就学会提供不同种子。每颗种子本身要有一定质量同时还要和其他种子有所区别。后面的搜索器掌握了更多测试结果也有更大的计算预算可以到那时再决定哪一条路线更值得继续。RL没有放弃提高能力只是不再急着替未来做完全部选择。既要又要其实在这里已经达成了。它们既保留了正确的要求同时也增强了对多样性的存续和奖励。如果问题出在策略梯度本身前面的几种方法都接受了一个共同前提策略梯度仍然是训练推理模型的基本框架问题只是它分配奖励的方式不够好。IPS试图拆掉高频答案的额外优势LAD希望模型学习更完整的优势分布Rewarding the Rare和VPO则开始奖励少见、不可替代的正确解法。它们修改了训练信号却没有完整的改变信号进入模型的方式。模型仍然先从当前策略生成一批rollout再根据这些rollout获得的奖励计算梯度。某条正确轨迹出现后组成它的token会被提高概率而没有被采到的轨迹则不会产生任何更新。这使策略梯度存在一个很难彻底绕开的限制它只能用被当前模型生成出来的选择更新。8月Cognition AI发布的《Beyond the Best Guess》就在想也许梯度下降更新模型的方式可以整体变一下让它不要再只围着一个模型转了。论文使用的Evolution Strategies简称ES不再先比较同一个模型生成的多条回答而是比较当前模型周围的一批模型。普通RL每轮尝试的是一批回答。模型生成多条轨迹验证器给它们打分算法再提高高分轨迹的生成概率。ES每轮尝试的则是一批模型。研究者先复制当前模型再给每个副本的参数加上一点不同的随机扰动。这样就得到了一批彼此略有差异的模型。它们拥有相同的基础能力但思考习惯和输出概率会发生一些变化。接下来让这些模型分别完成同一批任务。某个模型变体如果得分更高就说明它接受的那组参数变化可能有用。而另一个变体如果表现变差对应的参数方向就应该少走。比较完这一批模型后系统把表现较好的参数方向合并起来更新中间那个模型。下一轮再以这个新模型为中心产生一批新的变体。训练结束后留下的仍然是一个模型并不需要在推理时同时运行几十个版本。这批模型只在训练过程中出现用来帮助系统寻找参数应该往哪里移动。从靠近某个答案改成变成一系列参数变化会同时影响许多问题它会同时改变大量token的概率让一种原本很少出现的方法变得可见也可能同时改善几种不同的行为。ES留下的是这个参数方向不是某一条成功回答的复印件。假设有两个位置。第一个位置上的模型单次表现很好但参数稍微改变一点成绩就会迅速下降。第二个位置的最高成绩可能没那么突出但周围许多参数变化都能保持较好表现。策略梯度可能更容易把模型推向第一个位置因为某条高奖励轨迹会直接得到强化。ES会在一片参数邻域内计算表现第一个位置的优势容易被周围的大量失败抵消第二个更宽、更稳定的区域则可能获得更高评价。在这里ES相当于先把参数空间里的奖励地形磨平一点再寻找上升方向。一个只有在极精确参数下才能拿高分、稍微扰动就失效的尖锐位置经过这种平均以后优势会变小而一片周围很多参数都能拿到较高分的宽阔区域更容易被选中。作者认为这正是ES比较不容易锐化输出分布的原因。相比于RL一片能够容纳多种有效行为、对参数变化也比较稳健的区域更容易在多轮比较中留下来。换了这种方式后模型最终形成的输出分布确实不同。论文在Qwen2.5和Qwen3系列模型上比较了ES与RL模型规模从1.5B一直到32B。RL通常更擅长把一部分题目练到接近每次都能答对因此单次回答时经常占优。但随着采样次数增加RL的passk更早进入平台期有些任务上甚至会被基础模型重新超过。ES在pass1上未必总能胜过RL但增加采样次数以后它的成绩还能继续增长。在论文测试的范围内基础模型也没有在高k时反超ES模型。两种训练方式新增和丢失的能力也不一样。以Qwen2.5-Math-7B在Olympiad Bench上的结果为例ES让56道基础模型原来无法解决的题变得可解RL新增了33道。与此同时ES丢失了15道基础模型原本能够偶尔解出的题RL丢失了49道。这说明ES并不是因为几乎没有学习才保留了基础模型的输出分布。至少在这个实验中它新增的可解题目更多删除的旧入口却更少。失败时的状态也存在差异。论文把三个数学基准上的回退题合并统计ES有24道RL有106道。超过四分之一的RL回退题答案熵已经接近零。模型不仅答错而且反复采样仍然集中在少数几个错误答案上。但ES即使失败时通常还保留着更多不确定性会指向更多可能的答案。对只看一次答案的benchmark来说两种失败都是零分。但对于一个长程任务来看它后面的步骤依然需要进行搜索因此这两者的价值截然不同。RL过的模型已经过度确信了某个错误答案增加rollout也只能得到更多重复。但另一个模型仍然保留多个方向外部搜索还有继续工作的空间。一种失败已经把门关死了。另一种失败只是暂时还没有找到出口。03、反对锐化也是Agent的题中之义前面讨论的这些变化意义并不只限于自进化。只要模型开始作为Agent长期行动极端锐化就会带来同样的问题而且比单次推理更严重。在前面的讨论中我曾提及锐化会在长程任务中带来更大的麻烦。普通推理的搜索空间主要存在于答案内部。Agent每做出一个动作却都会改变自己随后看到的信息。一个编程Agent先查看哪个文件决定了它接下来会注意哪些代码先使用哪个工具又决定了环境会返回什么结果。最初的选择不同后面的任务就会沿着不同方向展开。一旦最初的行动收敛后面的观察也会跟着收敛。这使得在Agent任务中的锐化表现为总是调用同一个工具总是从同一个入口检查问题或者过早相信同一类证据。如果第一步已经把Agent带进了错误区域后面二十轮推理可能只是在那里做得越来越细。给它更多token、更多工具调用和更长上下文只会让它沿着同一方向走得更远。计算量增加了真正探索过的区域却没有明显扩大。这也是为什么长程任务会放大RL的锐化倾向。在系列之前的文章中还提到过近端优化的概念。这会给AI进行复杂科学发现带来非常大的麻烦。而它的来源也和RL当下的方法密不可分。成熟路线通常更短也更容易在训练早期得到奖励。新的工具组合和行动方法开始时往往不稳定需要绕路也更容易失败。如果训练只看当前一轮的平均得分这些路线还没来得及显出价值就可能被压到模型不再尝试。到了环境发生变化的时候问题才会暴露出来。旧工具失效任务规模改变或者过去有效的操作顺序不再适用Agent却已经失去了切换路线的能力。它对旧环境训练得越充分反而可能越难适应新情况。理想的Agent应该有一条可靠的默认路线但默认路线失败、环境陌生或者反馈互相矛盾时它还能够换一个入口。它可以先利用已经验证过的方法同时保留少量预算检查别的假设。这里保留的不是无意义的随机性而是在新信息出现后仍有改道的能力。在有选择的情况下元学习、反思才有用武之地否则脑袋空空反思能有什么效果这样看前面那些防止解法过早消失的方法就不只是为自进化准备的特殊设计。它们也在为Agentic RL解决一个很现实的问题。自进化只是把这个问题拉到了更长的时间尺度。一个Agent可能在几十轮操作后因为过早收敛而失败一个自进化系统则可能在几百次训练和改写之后才发现自己很早以前已经删掉了另一条路。二者面对的是同一个矛盾RL需要把有效行为练得更可靠却不能因此让模型失去根据新证据改变路线的能力。因此面对着大势所趋的Agent、以及决定AI发展的自进化未来的RL都需要为选择而生。原文链接自进化时代强化学习可能得有一套新算法了-36氪 自进化时代，强化学习可能得有一套新算法了
强化学习新算法在本栏目之前的文章《Jeff Dean们赶在贝叶斯AI到来之前跳船》我们谈自进化时提到的其中重要的一个坎儿就是模型的搜索空间很狭窄解了半天都是组合和桥接。而自进化研究已经开始防范这种解法收敛只是大多数工作把手术做在模型外面。比如Sakana AI与UBC团队的Darwin Gödel Machine维护的是一个不断扩张的Agent档案。它从不同祖先产生变体让多条谱系并行发展。实验中系统在SWE-bench上的成绩从20.0%提高到50.0%Polyglot从14.2%提高到30.7%。作者反复强调stepping stones的作用。某次修改可能暂时落后却在后面成为突破所需的垫脚石。Varun Gumma等人提出[IDEAgent把科研构思直接定义成Quality-Diversity Search要在进行搜索后选的差异时同时追求质量和差异。自进化系统的搜索其实要经过两道选择。第一道发生在模型内部经过训练的模型决定哪些候选值得被生成。第二道才发生在外部Loop里它决定被模型投出来的哪些候选能够活到下一轮。上面的这些探索都是放在第二道但让模型本身多点探索多样性这件事儿其实之前做的不多。外循环越开放这个矛盾反而越刺眼。后面精心维护着一棵演化树前面的RL却只肯提供同一粒种子。而长程任务会让入口的缺陷成倍放大。做一道数学题某条备选路线没有被采到损失的只是一次解题机会。做一个两百轮的程序优化任务第十轮没有出现的数据结构会让第五十轮本可以基于它产生的并行化方案也一起消失。后面每一轮都可以很聪明可它们只能在一棵早已被修剪过的树上继续攀爬。所以第一步怎么解决呢目前解决的不太好。01、强化学习的两难困境我们先来拆解一下RL面对的问题。2025年初研究者谈论强化学习时使用的还是一套相当乐观的语言他们都觉得RL是可以让模型学到新东西的。1月22日DeepSeek发布R1的技术报告。其中最引人注目的是R1-Zero模型它用的GRPO算法只根据最终答案是否正确获得奖励却在训练过程中逐渐出现了延长思考、回头检查、尝试替代路线等行为。论文将这些变化描述为通过强化学习自然涌现出来的推理能力。于是大家都觉得是 RL 让模型学会了此前不会的推理方式。几天后包括谷歌的一个研究小组的论文《SFT Memorizes, RL Generalizes》进一步强化了这种印象。研究者让SFT模型和RL模型从同一个基础模型出发使用相同的训练任务然后测试它们能否适应没有见过的规则变化。结果SFT更容易贴着示范答案学习RL则更能适应规则和视觉条件的变化。这构成了2025年初那套「RL通过学习到了推理带来了泛化」的主要证据。RL不光让模型能解更难的题也压没了低概率解但其实传统学界一直都有一种RL不太可能带来泛化的认知过去在CV领域RL方法就是因为泛化不好所以饱受质疑而表现好的AlphaGo也就只会下棋。所以自然会有反思到来。2025年4月北大的那篇论文《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》就是第一枪。过去评估推理模型最常见的指标是pass1只让模型回答一次看它能不能答对。RL模型在这个指标上大幅超过基础模型于是人们自然地认为RL模型拥有了更强的推理能力。这篇论文却把采样次数不断提高观察passk的变化。结果采样次数较少时RL模型明显更强。采样次数足够多以后基础模型可以追上部分情况下甚至超过RL模型。研究者进一步比较生成轨迹发现RL模型常用的正确推理路径往往也能从基础模型中采样出来只是概率低得多。这给出了RL有效的另一种解释。假设基础模型面对一道题时可能产生几十种思路。正确思路只占其中很小一部分所以第一次回答经常出错。RL训练并不一定需要发明新思路。它只要不断提高正确路径的概率、压低错误路径的概率就能让pass1出现巨大提升。从产品角度看这当然是能力进步。原来需要采样几百次才能遇到的答案现在一次就能出现模型变得更可靠也更便宜。但如果研究的问题是「模型是否获得了基础模型原来不具备的能力」结论就没有那么直接。它更像是在提升已有能力的调用效率。这篇论文由此提出了一套影响很大的解释RLVR主要做的可能是distribution reshaping也就是重新安排基础模型已有输出的概率。它把高奖励路径推到分布中心同时把其他路径挤到边缘。模型不是「简单地知道得更多了」而是「更相信其中一部分了」。「RL主要在锐化分布」的说法由此开始。到25年5月28日中国团队的研究《The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models》研究了RL训练过程中模型分布怎样变化。作者观察到大量RL训练都会在早期出现「策略熵」的快速下降。模型的输出越来越确定探索能力随之减弱而性能也在这个阶段逐渐进入平台期。这里的「熵」可以理解成模型在每一步还保留多少选择。熵高说明多个token都有机会被选中而熵低则说明模型越来越确信少数几个token。作者的分析显示策略梯度更新会形成一种自我强化已经拥有较高概率、又获得正向优势的token更容易得到进一步增强。它们的概率越高后续被采样和强化的机会也越多。低概率选择则逐渐失去进入训练样本的机会。这使锐化不再只是passk曲线上的猜测而有了训练动力学上的解释。RL从当前策略中采样再用这些样本更新当前策略。某条路线一旦领先它就更容易出现在下一轮也更容易继续领先。训练看似仍在自由探索实际使用的候选集可能越来越窄。在这期间其实很多论文在测试中发现经过RL的模型可能产生出更多样的答案因此对这个锐化的结论产生了怀疑。但2025年7月斯坦福的论文《The Invisible Leash: Why RLVR May or May Not Escape Its Origin》把这种现象进行了归因。模型在每一步有很多token可选不代表它最终会产生很多不同方案。几条语言表达看起来差异很大的推理轨迹最后可能仍然落到同一种解法、同一个答案。反过来一条罕见路线可能只由早期一个概率很低的token触发却能进入完全不同的推理区域。这篇论文发现RLVR训练后token级熵有时甚至会上升但答案级熵仍然下降。也就是说模型的产出局部看起来更不确定最终却收敛到更少的答案类型。作者进一步比较基础模型与RL模型在大规模采样下的经验支持集发现RL新增的答案通常少于它丢失的答案pass1提高了但基础模型原本能够偶尔触达的一部分结果不再出现。而长程任务会进一步放大这种损失。一个方案往往需要连续通过多个低概率分叉才能形成。只要第一步的替代方向被压低它后面的所有搜索分支都会一起消失。单个token上的轻微锐化沿着几十步决策传递下去可能变成整个解法族的退出。到了10月混元团队发布的论文《Low-probability Tokens Sustain Exploration in Reinforcement Learning with Verifiable Reward》就证明了这一点。研究员们发现预训练模型中存在一些概率很低、却能引出有效新推理的token。他们把这些token称作推理火花。普通RLVR会对它们施加过强惩罚使其在训练中逐渐消失。作者通过专门保护这些低概率但有价值的token让RL训练持续更久也取得了更高的最终准确率。那么锐化的RL是怎么展现出来一种泛化的可能的呢答案是锐化和泛化并不一定发生在同一个层级。去年5月底英伟达团队发布的《ProRL》可能是对模型就是在锐化这件事给出的目前最有力的反击之一。作者没有满足于常规的短程RL而是把训练延长到两千多步同时加入KL约束、参考策略重置和更多样的训练任务。结果RL并不是在所有领域都继续锐化数学任务上仍然出现了pass1提高、pass128下降但在代码和部分逻辑任务上pass1与高k指标能够同时增长。最醒目的例子是BoxNet。这是一类需要在网格中移动智能体、搬运箱子并避免动作冲突的规划任务。在作者的实验设置下基础模型对100道测试题采样了256次缺没有生成一个被验证器接受的解ProRL模型的单次成功率虽然只有7.7%左右但随着采样量增加最终在pass256上覆盖了全部测试题。这说明RL至少在长程任务中可以把一批原本低于有限采样分辨率的任务推入可解范围。从外部看这就是能力边界扩张和「泛化」基础模型在数万次生成中没有表现出来的能力RL模型能够稳定表现出来。2026年2月北大等团队的研究《《New Skills or Sharper Primitives?》对此进行了机制解释。研究者构造了四套人工代数系统训练阶段只让模型学习一步操作测试阶段却要求模型连续执行两到五步。RL从未见过这些组合题但训练后一部分基础模型采样128次都无法解决的题变成了可以稳定解决的问题。这是因为假设一道题需要连续完成五个步骤每一步的正确率都是0.3整条推理链成功的概率会低到采样128次也经常一次都碰不到。RL如果把每一步的正确率提高到0.7整题成功率就会大幅提升。在这里模型并没有学到第六种操作也没有见过测试中的完整解法但整道题已经从几乎不可能出现变成可以稳定调用。实验中原子步骤联合正确率与最终组合任务成功率的相关系数达到0.69到0.96说明复杂能力的出现很大程度上可以由底层步骤变得可靠来解释。这就化解了「锐化为什么还能带来泛化」的矛盾。RL可以在原子能力上做锐化压低错误操作提高正确操作的概率。而这些局部变化沿着长推理链相乘却会在任务层面打开此前无法到达的区域。它没有扩大基本知识和推理原语的集合却扩大了这些原语能够稳定组合出的任务集合。因此这仍然是一种真实的泛化。只不过它不是从训练经验之外获得新知识而是组合性泛化。模型学到的是一套更可靠、可以反复调用的底层操作随后把它们用于没有见过的规则组合、更长的推理链和新的问题实例。这也说明RL依然不可缺少。对于复杂问题模型只隐约会每一个局部步骤是不够的只要其中几个环节不稳定整条推理链就会随着任务长度增长迅速坍塌。RL的作用是把这些潜在能力练到足以连续执行让原本停留在低概率尾部的组合变成可用能力。但 RL提高一批原子能力的同时也可能牺牲另一些技能和低频路径的问题在自进化时代依然严峻。它似乎陷入了一种既要又要Dilimma两难处境我们既需要它一边打开更长的正确推理链又希望它不要删除通向其他解法的分叉。这种处境能有解吗还好26年的研究很多时候基本上都在围绕着这一点进行而它们很可能会彻底改变RL的范式。02、既要又要的RL方法如果RL不再提高正确动作的概率它也就失去了最重要的价值。前面《New Skills or Sharper Primitives?》已经说明模型能够解决更复杂的问题往往不是因为突然学会了一套全新的算法而是因为原来不太稳定的底层操作被练准了。五个步骤每一步都只有七成把握连起来很容易出错每一步都提高到九成以后更长的推理链才真正可用。所以问题不是该不该锐化而是该锐化什么。最理想的状态是每一种方法内部都越来越可靠不同方法之间却还能继续共存。但传统RL很难做到这一点因为它关心的是平均得分。假设模型解一道题时60%的概率使用方法A40%的概率使用方法B。A平均得到0.9分B平均得到0.8分那么模型反复回答这道题平均得分是0.86。RL很容易发现只要多用一点A、少用一点B平均分就会上升。A提高到70%B降到30%平均分就变成0.87。于是训练继续增加A的概率。如果只看眼前这道题这个选择完全合理。A现在得分更高当然应该多用。但RL不知道B以后还有什么用。B可能更适合另一类题也可能是某种新解法的起点。只要这些未来价值没有写进当前奖励RL看到的就只有一件事减少B平均分马上会提高。目标很死板是问题之一。另一个问题是策略梯度还要加强这种死板。「策略」就是模型对不同选择分配的概率。「梯度」就是参数应该往哪个方向调整才能让高奖励选择更容易出现。把两者连起来就是模型会根据一批回答的得分调整下一次选择这些回答的概率的方法。在PPO、GRPO这类方法中模型先按照当前策略生成一批回答验证器再判断哪些答案正确。高于这一批平均水平的轨迹获得正向优势算法随后提高组成这些轨迹的token再次出现的概率低于平均水平的轨迹则被压低。RL要进行多轮而每轮RL都是从上一轮的模型中采样用上一版本给出的答案更新模型。如果一个选项A因为能提高概率它就会被加强也因此会更频繁地进入训练样本。另一个次优选项 B 本来出现得少进入下一轮训练样本的机会也小。那几轮以后A和B之间原本不大的差距就会因为在训练样本里出现的次数越滚越大。一个锐化的内循环就此定型。长推理会让这个问题更严重。一种新解法往往需要连续走过多个不常见的分叉。只要开头那一步没有被模型选中后面整条路线都不会出现。模型看不到后面的结果自然也不可能把功劳还给最初那个选择。所以期望回报平均值的目标与策略梯度分别提供了锐化的两股力量。一方面平均奖励要求模型多用当前得分最高的方法。另一方面策略梯度又让已经常见的方法更容易得到下一轮训练。一个负责把概率推向赢家一个让赢家越来越容易继续赢。而调节梯度的一种方法就是去调节目标。2026年的这些新方法基本上是在通过调整这两者来降低锐化。管住梯度给RL锐化加刹车另一个方向则是梯度。既然梯度会强化那最直接的方法就是给它加一个刹车片让它别把多样性直接碾死。2026年1月新加坡国立大学的研究《Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling》就是走的这条路。既然梯度会强化出现的多的结果那就别让它强化干脆让它弱化。论文提出了IPS-GRPO规定当一个结果出现得越频繁训练时分配给它的权重就越低。这样高频答案不会仅仅因为已经占据概率优势就继续获得与出现次数成比例的强化。而低频但高奖励的结果也不会因为很少进入采样而永远失去翻身机会。2月威斯康星大学的研究《LAD: Learning Advantage Distribution for Reasoning》也是沿着这个路径走的。不过不是给频繁结果降权而是保持初始状态的概率优势。在一开始概率优势越高的答案应该比旧模型中的概率提高得更多、优势一般的答案可以小幅提高、优势为负的答案则应该下降。假如A和B的优势相同它们的概率就应该按照相同倍数增长。A原来占10%B原来占5%更新后可以分别变成20%和10%而不是让A因为采样次数更多逐渐把B吞掉。如果A的优势高于BA当然可以获得更大增幅但这个增幅有一个与优势相称的目标不需要一直增长到接近100%。但只要一个答案仍然有价值它在这张表里就会得到相应份额而不是和最高分答案进行没有终点的竞争。在他们看来普通RL追求的是把平均优势尽可能做高而它们的方法则是试图让模型学习完整的优势分布。高价值路径仍然会得到加强但它们的概率不会毫无节制地增长其他有效路径因此有机会继续留在分布中。这一组解法的逻辑就是如果任务本来就允许多个好答案那么后训练的目标就不该是把概率全部推向其中一个。它希望形成的结果不是一个答案占据几乎全部概率而是高概率答案占得多一些其他有效答案也还能被采到。在梯度上打补丁其实也会部分调整目标。但总不如直接改目标来得直接。改目标让RL不再单线优化既然原来的优化目标太强调平均太单一那我们就改改优化的目标。想要多样性那我们就奖励多样性。但问题是奖励什么样的多样性模型在token层面表现得很活跃不代表它真的尝试了不同思路。它可以改变措辞、调整推导顺序或者多写几个中间步骤看起来生成了十条不同的轨迹实际却都在重复同一种算法。例如面对一个一元二次方程一条轨迹完整写出求根公式另一条跳过几个化简步骤第三条更换了变量名称。它们在token和语义向量上都可能存在差异但解题思路没有变化。真正不同的路线是另一条轨迹放弃求根公式转而使用因式分解。这样才算是增加了搜索入口。因此就要从这方面去奖励。2026年1月的MIT的论文《Rewarding the Rare》因此提出不应该继续用token熵间接猜测模型有没有探索而应该直接判断几条轨迹采用的是否是同一种解法。它保留了GRPO的大体框架。面对一道训练题模型仍然一次生成多条轨迹验证器也仍然负责判断答案是否正确。新增的一步是让另一个更大的语言模型阅读这一组完整推理把它们按照高层解题策略分类。如果八条轨迹中有六条都在使用求根公式一条使用因式分解另一条给出了错误答案那么前六条会被归入同一个大类因式分解单独构成一个小类。分类器只看解题计划不把变量名称、篇幅和局部化简方式的变化当成新策略。接下来算法根据每个类别的大小重新调整训练权重。一个正确解法出现得越频繁单条轨迹得到的权重就越低一个正确解法越少见它得到的权重就越高。这样错误答案不会因为足够罕见就得到鼓励正确性仍然是进入竞争的门槛。既要又要还是可以得到保障。这改变了普通RL的强化逻辑。Rewarding the Rare方法没有取消对求根公式的奖励只是不再允许它因为已经常见就按出现次数无限积累优势。因式分解那条路线虽然只出现一次却代表一个没有被其他轨迹覆盖的方向因此会获得更大的相对权重。这相当于第一次把「正确解法的稀缺性」写进了RL的更新规则作为一种重要的奖励维度。模型仍然要提高答对的概率但同一种正确答案重复十次不再等于发现了十个有价值的结果。作者在Qwen2.5-7B、Qwen3-8B和OLMo-3-7B上进行了实验测试范围包括数学、物理和医学推理。他们不只测pass1还把采样量提高到256次观察继续增加rollout能否带来新的正确结果。经过这种训练后模型的pass1没有明显受损高采样量下的passk曲线却能继续增长。更能说明问题的是作者对20道AIME难题进行的人工解法标注。他们先从竞赛题解和教材中整理出每道题的三到五种标准解法再检查模型采样32次能够覆盖其中多少种。20道题中训练后的模型与基础模型在16道题上覆盖相同。在剩下4道较难的题上训练模型覆盖了更多方法。比如其中一道几何题存在五种人工整理出的解法。基础模型采样32次只覆盖两种经过训练的模型覆盖了全部五种。另一道组合题中基础模型只找到四种参考方法中的一种而训练模型找到了三种。这些结果至少说明passk的增长不只是同一种答案在措辞上的变化。模型确实保留并强化了更多能够被人识别的解题策略。但Rewarding the Rare仍然是在给单条轨迹分配权重。它把「所在类别是否稀有」作为每条轨迹的附加信息却没有直接评价整组答案共同覆盖了多大的空间。这个区别会在更复杂的情况下暴露出来。比如一组答案里有三种策略A出现五次B出现两次C出现一次。按照类别大小C最稀有。但C究竟补充了一个全新的方向还是只是B的一个模糊变体只靠模型去判断其实风险很大。而且类别划分本身也很生硬两条路线要么被判为同类要么被判为不同类中间没有多少余地。为了解决这个问题5月MIT和Sakana AI的研究者再次联手发表了论文《Vector Policy Optimization》。奖励多样性那就干脆直接放弃单个候选生成的模式。它试图更根本改变RL优化的目标让它不再只看平均得分从一堆选项中拔一个将军出来。而是给它一组环境看哪组答案能全部适应。把通用的最佳解答改成一个会随机应变的多面手。以代码生成为例。一道题有十个测试用例程序A通过了其中八个程序B也通过了八个。传统RL通常把两者都记成0.8分。但它们可能擅长的东西根本不一样。程序A在普通输入上表现很好遇到极端数据就会出错。程序B速度较慢却能处理A解决不了的边界条件。如果训练只看平均分系统很可能留下其中一个。等到外部搜索器需要处理那个罕见条件时另一个方案已经不在模型的常用分布里了。VPO会保留每个测试用例的结果。程序得到的不再只是0.8而是一串更具体的记录第一项通过第二项失败第三项通过。这样系统就能看出两个同为0.8分的程序究竟有什么区别。训练时VPO让模型一次给出多个候选再反复改变各项测试的权重。有时更重视常规输入有时更重视边界条件。模型要在这些不同要求下都取得好成绩就不能把候选只收敛到一个可能性上。如果每次它都只加强程序A的概率那么它能解决的仍然只是A擅长的那部分问题。只有把A、B以及其他有不同长处的方案都交出来这组答案的总成绩才会提高。因此VPO奖励的单位已经从「一个最高分的答案」变成了「一组互相补位的答案」。论文还在多跳问答、迷宫导航和工具调用上采用了同样的设计。多跳问答可以分别检查每一步是否正确。而工具调用则可以分别检查工具名称、参数格式和参数内容。模型不必把所有能力压进一种潜在解决方案里而可以让不同候选解决不同的难点。迷宫实验的数据很能说明这种解法的优势。普通GRPO的best3是0.432。将候选数量从3个增加到5个、10个和30个以后成绩仍然是0.432。这说明后面增加的27次生成大多没有带来新的有效路线。而VPO的best3是0.512增加到30个候选后达到0.593。这说明多给模型采样预算系统还保有着找到新路线的方法。这种差别放进外部搜索Loop以后更明显。研究者把VPO和GRPO训练出的代码模型分别接入OpenEvolve在32道两边都无法通过普通采样解决的题目上继续迭代。经过200轮改写和测试GRPO较早进入平台期VPO仍能产生新的候选并解出一部分原本两边都解不开的问题。这正好补上了自进化系统的第一道缺口。VPO所做的是让模型在训练阶段就学会提供不同种子。每颗种子本身要有一定质量同时还要和其他种子有所区别。后面的搜索器掌握了更多测试结果也有更大的计算预算可以到那时再决定哪一条路线更值得继续。RL没有放弃提高能力只是不再急着替未来做完全部选择。既要又要其实在这里已经达成了。它们既保留了正确的要求同时也增强了对多样性的存续和奖励。如果问题出在策略梯度本身前面的几种方法都接受了一个共同前提策略梯度仍然是训练推理模型的基本框架问题只是它分配奖励的方式不够好。IPS试图拆掉高频答案的额外优势LAD希望模型学习更完整的优势分布Rewarding the Rare和VPO则开始奖励少见、不可替代的正确解法。它们修改了训练信号却没有完整的改变信号进入模型的方式。模型仍然先从当前策略生成一批rollout再根据这些rollout获得的奖励计算梯度。某条正确轨迹出现后组成它的token会被提高概率而没有被采到的轨迹则不会产生任何更新。这使策略梯度存在一个很难彻底绕开的限制它只能用被当前模型生成出来的选择更新。8月Cognition AI发布的《Beyond the Best Guess》就在想也许梯度下降更新模型的方式可以整体变一下让它不要再只围着一个模型转了。论文使用的Evolution Strategies简称ES不再先比较同一个模型生成的多条回答而是比较当前模型周围的一批模型。普通RL每轮尝试的是一批回答。模型生成多条轨迹验证器给它们打分算法再提高高分轨迹的生成概率。ES每轮尝试的则是一批模型。研究者先复制当前模型再给每个副本的参数加上一点不同的随机扰动。这样就得到了一批彼此略有差异的模型。它们拥有相同的基础能力但思考习惯和输出概率会发生一些变化。接下来让这些模型分别完成同一批任务。某个模型变体如果得分更高就说明它接受的那组参数变化可能有用。而另一个变体如果表现变差对应的参数方向就应该少走。比较完这一批模型后系统把表现较好的参数方向合并起来更新中间那个模型。下一轮再以这个新模型为中心产生一批新的变体。训练结束后留下的仍然是一个模型并不需要在推理时同时运行几十个版本。这批模型只在训练过程中出现用来帮助系统寻找参数应该往哪里移动。从靠近某个答案改成变成一系列参数变化会同时影响许多问题它会同时改变大量token的概率让一种原本很少出现的方法变得可见也可能同时改善几种不同的行为。ES留下的是这个参数方向不是某一条成功回答的复印件。假设有两个位置。第一个位置上的模型单次表现很好但参数稍微改变一点成绩就会迅速下降。第二个位置的最高成绩可能没那么突出但周围许多参数变化都能保持较好表现。策略梯度可能更容易把模型推向第一个位置因为某条高奖励轨迹会直接得到强化。ES会在一片参数邻域内计算表现第一个位置的优势容易被周围的大量失败抵消第二个更宽、更稳定的区域则可能获得更高评价。在这里ES相当于先把参数空间里的奖励地形磨平一点再寻找上升方向。一个只有在极精确参数下才能拿高分、稍微扰动就失效的尖锐位置经过这种平均以后优势会变小而一片周围很多参数都能拿到较高分的宽阔区域更容易被选中。作者认为这正是ES比较不容易锐化输出分布的原因。相比于RL一片能够容纳多种有效行为、对参数变化也比较稳健的区域更容易在多轮比较中留下来。换了这种方式后模型最终形成的输出分布确实不同。论文在Qwen2.5和Qwen3系列模型上比较了ES与RL模型规模从1.5B一直到32B。RL通常更擅长把一部分题目练到接近每次都能答对因此单次回答时经常占优。但随着采样次数增加RL的passk更早进入平台期有些任务上甚至会被基础模型重新超过。ES在pass1上未必总能胜过RL但增加采样次数以后它的成绩还能继续增长。在论文测试的范围内基础模型也没有在高k时反超ES模型。两种训练方式新增和丢失的能力也不一样。以Qwen2.5-Math-7B在Olympiad Bench上的结果为例ES让56道基础模型原来无法解决的题变得可解RL新增了33道。与此同时ES丢失了15道基础模型原本能够偶尔解出的题RL丢失了49道。这说明ES并不是因为几乎没有学习才保留了基础模型的输出分布。至少在这个实验中它新增的可解题目更多删除的旧入口却更少。失败时的状态也存在差异。论文把三个数学基准上的回退题合并统计ES有24道RL有106道。超过四分之一的RL回退题答案熵已经接近零。模型不仅答错而且反复采样仍然集中在少数几个错误答案上。但ES即使失败时通常还保留着更多不确定性会指向更多可能的答案。对只看一次答案的benchmark来说两种失败都是零分。但对于一个长程任务来看它后面的步骤依然需要进行搜索因此这两者的价值截然不同。RL过的模型已经过度确信了某个错误答案增加rollout也只能得到更多重复。但另一个模型仍然保留多个方向外部搜索还有继续工作的空间。一种失败已经把门关死了。另一种失败只是暂时还没有找到出口。03、反对锐化也是Agent的题中之义前面讨论的这些变化意义并不只限于自进化。只要模型开始作为Agent长期行动极端锐化就会带来同样的问题而且比单次推理更严重。在前面的讨论中我曾提及锐化会在长程任务中带来更大的麻烦。普通推理的搜索空间主要存在于答案内部。Agent每做出一个动作却都会改变自己随后看到的信息。一个编程Agent先查看哪个文件决定了它接下来会注意哪些代码先使用哪个工具又决定了环境会返回什么结果。最初的选择不同后面的任务就会沿着不同方向展开。一旦最初的行动收敛后面的观察也会跟着收敛。这使得在Agent任务中的锐化表现为总是调用同一个工具总是从同一个入口检查问题或者过早相信同一类证据。如果第一步已经把Agent带进了错误区域后面二十轮推理可能只是在那里做得越来越细。给它更多token、更多工具调用和更长上下文只会让它沿着同一方向走得更远。计算量增加了真正探索过的区域却没有明显扩大。这也是为什么长程任务会放大RL的锐化倾向。在系列之前的文章中还提到过近端优化的概念。这会给AI进行复杂科学发现带来非常大的麻烦。而它的来源也和RL当下的方法密不可分。成熟路线通常更短也更容易在训练早期得到奖励。新的工具组合和行动方法开始时往往不稳定需要绕路也更容易失败。如果训练只看当前一轮的平均得分这些路线还没来得及显出价值就可能被压到模型不再尝试。到了环境发生变化的时候问题才会暴露出来。旧工具失效任务规模改变或者过去有效的操作顺序不再适用Agent却已经失去了切换路线的能力。它对旧环境训练得越充分反而可能越难适应新情况。理想的Agent应该有一条可靠的默认路线但默认路线失败、环境陌生或者反馈互相矛盾时它还能够换一个入口。它可以先利用已经验证过的方法同时保留少量预算检查别的假设。这里保留的不是无意义的随机性而是在新信息出现后仍有改道的能力。在有选择的情况下元学习、反思才有用武之地否则脑袋空空反思能有什么效果这样看前面那些防止解法过早消失的方法就不只是为自进化准备的特殊设计。它们也在为Agentic RL解决一个很现实的问题。自进化只是把这个问题拉到了更长的时间尺度。一个Agent可能在几十轮操作后因为过早收敛而失败一个自进化系统则可能在几百次训练和改写之后才发现自己很早以前已经删掉了另一条路。二者面对的是同一个矛盾RL需要把有效行为练得更可靠却不能因此让模型失去根据新证据改变路线的能力。因此面对着大势所趋的Agent、以及决定AI发展的自进化未来的RL都需要为选择而生。原文链接自进化时代强化学习可能得有一套新算法了-36氪