30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度那天晚上团队里一位刚接触强化学习RL训练的新同事问我“为什么我们每次跑RL post-training都要更新全部参数难道每一层都在学新东西吗”这个问题看似简单却直接命中了当前大模型RL训练的一个默认假设所有参数都需要参与适应。直到最近一篇论文的出现才让我们意识到这个假设可能错得离谱。论文的核心发现用一句话就能说清楚RL post-training的大部分收益其实集中在一个Transformer层。单独训练这一个层就能匹配甚至超越全参数训练的效果。这不是参数压缩技巧而是对RL训练本质的重新理解。1. 从全参数到单层一个反常识的实验设计当我们谈论大模型的RL训练时无论是DeepSeek-R1开启的RLVR路线还是GRPO、PPO等算法在数学推理、代码生成任务上的应用行业默认的做法都是全参数更新。这个做法如此自然以至于很少有人质疑其必要性。研究者设计了一个极其简单的诊断框架对于一个有L个Transformer层的大语言模型每次只训练其中一层冻结其余L-1层以及嵌入层和语言模型头。训练完成后测量该层独立贡献的“层贡献度”指标——即单层训练能恢复的收益占全参数训练总收益的比例。如果某层的贡献度达到1.00意味着这一层独自训练就能复现全参数训练的完整收益。超过1.00则意味着单层训练反而效果更好。1.1 实验结果中间层的惊人表现在Qwen3-8B-Base36层的数学推理任务上全参数GRPO训练达到66.5%的平均准确率。而仅训练第16层冻结其他所有层的准确率达到67.1%层贡献度高达1.07。第15层的贡献度也恰好为1.00。这意味着什么训练一个层第16层的效果比训练全部36层还要好。而训练第0层贡献度-0.51反而会拖累模型性能。更值得注意的是如果只训练贡献度最高的10个层Only B10策略准确率进一步攀升到69.1%比全参数训练高出2.68个百分点。1.2 模式的稳定性不是偶然现象这一发现在多个维度上表现出惊人的稳定性跨任务一致在数学推理、代码生成和Agent决策任务上高贡献层都集中在中间位置跨算法一致在GRPO、GiGPO、Dr. GRPO三种RL算法上模式相同跨规模一致在Qwen3-1.7B28层、Qwen3-4B、Qwen3-8B均为36层上趋势一致Spearman相关性检验确认不同设定下层排名的相关性具有统计显著性。这不是边缘案例而是对行业共识的直接挑战。2. 为什么中间层成为RL训练的“收益黑洞”要理解这个发现需要先理解Transformer模型中不同层的功能分化。大量前期研究表明预训练语言模型在深度方向上表现出强烈的非均匀性。2.1 Transformer层的功能分工早期层如第0-2层主要捕获语法和表层特征处理词法、句法等基础语言信息。这些层更像是“特征提取器”为后续层提供加工原料。中间层如第12-20层承担最高层次的语义整合和推理加工。这里是真正的“思考发生地”负责理解上下文关系、进行逻辑推理、处理复杂语义。晚期层如第22-35层更多地将高维表示映射到输出空间负责生成符合格式要求的最终结果。2.2 RL训练的本质与中间层的匹配RL post-training的核心目标不是让模型学会更好的语法也不是优化输出映射。RL信号本质上是在教模型“什么样的推理路径能获得更高奖励”这个信号天然作用于高层语义推理能力。这正是中间层的主场范围。当模型需要学习如何解决数学问题、生成优质代码或做出智能决策时关键的变化发生在语义理解和逻辑推理层面而这些功能主要由中间层承担。论文的实验数据完美支撑了这一解释。在Qwen3-8B-Base上高贡献度层集中分布在第12层到第20层之间峰值出现在第16层。整个分布呈典型的中间凸起、两头塌陷形态。3. 层感知训练从诊断工具到实践策略这个发现的价值不仅在于理论洞察更在于它直接催生了一种新的训练策略——层感知训练layer-aware training。3.1 为什么全参数训练存在浪费当前典型的大模型RL训练需要在数十亿参数上同时执行前向和反向传播。以DeepSeek-R1为代表的RLVR路线单次训练的算力消耗通常以千卡时计。如果大部分层的参数更新对最终收益几乎不产生实质性贡献而核心收益完全可以由少数中层独立恢复那么现有的训练范式在算力上存在巨大浪费。论文中的负贡献层如第0层尤其意味深长。全参数训练时优化器会让这些层勉强跟上全局梯度但冻结它们反而是更好的选择。3.2 层感知训练的具体实现基于层贡献度的诊断结果研究者提出了简单的层感知训练策略识别高贡献层通过小规模实验测量各层的独立贡献度优先训练高贡献层为高贡献层分配更大的学习率和更多训练步数选择性冻结对低贡献或负贡献层进行冻结或限制更新这种策略在几乎所有测试设定上都优于标准全参数RL训练而且不需要改变模型架构或修改RL算法。3.3 实际落地时的注意事项虽然论文结果令人振奋但在实际项目中应用层感知训练时需要注意先诊断后优化不要直接套用论文中的层编号。不同模型、不同任务的最佳层位置可能不同。建议先用小批量数据跑一遍层贡献度诊断。任务特异性Agent决策任务上的单层优势不如数学和代码任务显著可能是因为Agent需要更分散的推理技能。不同任务可能需要不同的层选择策略。稳定性验证单次实验的结果可能有波动建议多次运行取平均值确保层贡献度排名的稳定性。4. 重新思考RL训练的基本假设这项研究的真正价值不在于提供了一个“只练一层”的万能方案而在于它迫使我们重新审视RL训练的一些基本假设。4.1 测量盲区与行业惯性为什么这个发现直到现在才被系统性地验证答案可能是双重性的。一方面存在测量盲区。在典型的RL训练流程中研究者观察的是整体reward曲线和下游benchmark分数。当模型整体性能提升时每个人都默认这来自所有层的合力协作很少有人追问每个层的具体贡献。另一方面是产业惯性。自BERT和GPT系列确立全参数微调范式以来整个行业已经在这条技术路线上迭代了多年。改变意味着不确定性而大规模部署最怕不确定性。4.2 对工程实践的启示从工程角度看这个发现至少带来三个直接启示训练效率优化层感知训练可以显著降低算力消耗让RL训练在资源受限的环境中变得可行。监控维度扩展层贡献度应该成为RL训练的标准监控指标与loss曲线、梯度范数并列。算法设计方向未来的RL算法可以更精细地考虑层间差异而不是对所有层一视同仁。4.3 认知层面的深远影响更深远的影响在认知层面。它提醒我们今天大模型领域的许多“常识”可能只是在测量手段不足的情况下形成的假设。从DeepSeek-R1以RLVR路线打开推理模型突破口到如今发现RL收益集中在一层AI行业正在经历一个有趣的认知收敛越大的模型越不需要被整体修改。变化是局部的选择是结构性的。5. 局限性与未来方向当然这项研究并非没有局限这些局限也正好指明了未来的研究方向。5.1 当前的验证范围论文主要基于Qwen系列模型Qwen3和Qwen2.5进行实验虽然两个代际上验证了模式的一致性但这一发现是否泛化到其他架构如LLaMA、Mistral、DeepSeek仍有待验证。RL算法的覆盖范围也限于GRPO及其变体PPO、RLOO等其他主流算法的表现同样是开放问题。5.2 实际部署的考量在实际生产环境中完全只训练一层可能过于激进。更稳妥的做法是采用梯度加权策略为不同层分配不同的学习率而不是简单的“开/关”模式。此外训练动态的长期稳定性也需要更多验证。单层训练在短期benchmark上表现优异但长期来看是否会影响模型的泛化能力和抗干扰性还需要更多实验数据。5.3 未来的研究路径基于这项研究可以预见至少两个方向的后续工作诊断工具标准化层贡献度测量会迅速成为一种标准诊断工具被广泛集成到训练框架中。自适应层选择开发能够根据任务特性自动识别高贡献层并动态调整训练策略的算法。回过头来看那个新手同事的问题现在我可以给出更准确的回答我们之前全参数更新是因为我们假设所有层都在学习。但现在我们知道真正在“学新东西”的可能只有中间那几层。其他的更多是在配合和陪衬。这个发现的价值不在于否定现有方法而在于为我们打开了一扇效率优化的大门。在算力日益珍贵的今天能够用更少的资源获得相当甚至更好的效果这种进步的意义不言而喻。下一次当你准备启动大规模的RL训练时不妨先花一点时间测量一下各层的贡献度。你可能会发现真正需要训练的远比你想象的要少。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度