《Group Sequence Policy Optimization (GSPO)》由阿里巴巴Qwen团队提出针对大规模语言模型LLM强化学习RL训练中的稳定性与效率问题设计了一套全新的算法框架。以下是全文的核心内容总结1. 研究背景与痛点现有算法如GRPO的缺陷GRPO虽摆脱了PPO对价值模型的依赖但在训练超大模型尤其是MoE模型和长序列任务时极易发生不可逆的模型崩溃。问题根源GRPO在词元token级别使用重要性采样权重但每个词元仅基于单个样本计算违背了重要性采样需要大量样本平均的原理导致梯度估计高方差、噪声累积并被裁剪机制放大。2. GSPO 的核心创新序列级优化将优化单元从“词元”提升到“完整序列”response与奖励reward的授予单元整个序列对齐。重要性比率重定义基于序列似然sequence likelihood定义重要性比率 si​(θ)并进行长度归一化使其数值稳定且跨长度可比。序列级裁剪对完整响应而非单个词元进行裁剪避免过度“离策略”样本参与梯度更新。3. 关键理论分析梯度对比GRPO每个词元的梯度权重为其自身的重要性比率权重不均且随训练波动导致不稳定。GSPO同一响应内所有词元的梯度权重完全相等等于序列级重要性比率消除了词元间权重差异带来的噪声。变体 GSPO-token在保持数值等价的前提下允许按词元设置不同优势值适用于多轮RL等细粒度场景。4. 实验与主要发现训练效果在Qwen3-30B-A3B-Base冷启动模型上GSPO相比GRPO训练更稳定奖励曲线平滑上升。同等计算资源下在AIME24、LiveCodeBench、CodeForces等推理基准上取得更高性能。裁剪比例异常GSPO裁剪了远多于GRPO的词元相差两个数量级但训练效率反而更高证明GRPO的词元级梯度估计本质上是低效且有噪声的。MoE训练突破GRPO训练MoE模型时需依赖“路由重放”Routing Replay策略来稳定专家激活这会带来额外开销并限制模型容量。GSPO完全无需该策略因为其只关注序列似然对单词元似然和专家激活变化不敏感从根本上解决了MoE训练的稳定性问题。基础设施简化由于GSPO使用序列级似然对训练/推理引擎间的精度差异更鲁棒可直接复用推理引擎返回的似然值省去昂贵的重计算步骤。5. 结论与意义GSPO作为稳定、高效、可扩展的RL算法已成功应用于Qwen3系列模型为其性能突破提供了关键支撑。该工作为大规模LLM的RL scaling提供了一套更可靠的算法基石有望推动后续在推理能力、长文本、MoE架构等方面的持续拓展。GSPO通过将RL优化从词元级改为序列级从根本上解决了GRPO的稳定性顽疾尤其适用于MoE和长序列场景在训练效率与最终性能上均显著超越GRPO。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示摘要本文介绍了分组序列策略优化GSPO这是一种用于训练大型语言模型的稳定、高效且性能卓越的强化学习算法。与先前采用词元级别重要性比率的算法不同GSPO 基于序列似然定义重要性比率并执行序列级别的裁剪、奖励和优化。我们证明了与 GRPO 算法相比GSPO 具有更优的训练效率和性能尤其能稳定混合专家MoE模型的强化学习训练并具有简化强化学习基础设施设计的潜力。GSPO 的这些优势为最新的 Qwen3 模型带来了显著提升。1 引言强化学习RL已成为扩展语言模型能力的关键范式OpenAI, 2024; DeepSeek-AI, 2025; Qwen, 2025b;a。通过大规模强化学习语言模型能够发展出处理复杂问题的能力例如竞赛级别的数学和编程问题这通过进行更深入、更长的推理过程来实现。要成功地将强化学习扩展到更大的计算投入首要前提是维持稳定且鲁棒的训练动态。然而当前最先进的强化学习算法以 GRPOShao et al., 2024为例在训练超大规模语言模型时表现出严重的稳定性问题通常会导致灾难性的且不可逆转的模型崩溃Qwen, 2025a; MiniMax, 2025。这种不稳定性阻碍了通过持续的强化学习训练来突破语言模型能力边界的努力。在本文中我们识别出 GRPO 的不稳定性源于其算法设计中对重要性采样权重的根本性误用和失效。这引入了高方差的训练噪声该噪声会随着响应长度的增加而逐渐累积并进一步被裁剪机制放大最终导致模型崩溃。为解决这些核心限制我们提出了分组序列策略优化GSPO这是一种用于训练大型语言模型的新型强化学习算法。GSPO 的关键创新在于其基于序列似然Zheng et al., 2023定义重要性比率的理论根基这与重要性采样的基本原理相一致。此外GSPO 将归一化的奖励作为针对同一查询的多个响应的优势值确保了序列级别的奖励与优化之间的对齐。我们的实证评估表明GSPO 在训练稳定性、效率和性能方面均显著优于 GRPO。至关重要的是GSPO 从根本上解决了大型混合专家MoE模型在强化学习训练中的稳定性挑战无需复杂的稳定化策略并显示出简化强化学习基础设施的潜力。GSPO 的这些优势最终促成了最新 Qwen3 模型卓越的性能提升。我们期望 GSPO 能成为一个鲁棒且可扩展的算法基础推动大型语言模型的大规模强化学习训练的持续进步。2 预备知识3 动机梯度中引入了高方差噪声这种噪声在长序列上累积并被裁剪机制加剧。我们已凭经验观察到这可能导致通常不可逆转的模型崩溃。一旦崩溃发生即使恢复到之前的检查点并精心调整超参数例如裁剪范围、延长生成长度或更换强化学习查询也无法恢复训练。上述观察表明 GRPO 的设计存在根本性问题。词元级重要性权重的失效指向了一个核心原则优化目标的单元应与奖励的单元相匹配。由于奖励是授予整个序列的因此在词元级别应用离策略校正似乎是有问题的。这促使我们放弃词元级目标并探索直接利用序列级别的重要性权重和进行优化的方案。4 算法4.1 GSPO分组序列策略优化4.2 梯度分析我们可以推导出 GSPO 目标的梯度如下为简洁起见省略裁剪4.3 GSPO-token一种词元级目标变体在多轮强化学习等场景中我们可能期望比序列级别更细粒度的优势调整。为此我们引入了 GSPO 的一个词元级目标变体即 GSPO-token以允许按词元定制优势5 实验与讨论5.1 实证结果我们使用从 Qwen3-30B-A3B-Base 微调而来的冷启动模型进行实验并报告训练奖励曲线以及模型在 AIME2432 次采样的平均 Pass1、LiveCodeBench202410-2025028 次采样的平均 Pass1和 CodeForcesElo 评分基准上的性能曲线。在强化学习训练期间每批回放数据被划分为四个小批量进行梯度更新。在 GSPO 中我们将公式 (5) 中的左裁剪范围和右裁剪范围分别设置为 3e-4 和 4e-4。我们将 GRPO 作为基线进行比较并将公式 (2) 中的左裁剪范围和右裁剪范围分别设置为 0.2 和 0.27我们已仔细调整这些参数以确保公平比较。注意GRPO 需要路由重放训练策略才能使 MoE RL 正常收敛我们将在 § 5.3 中额外讨论这一点而 GSPO 已不再需要该策略。图 1 显示使用 GSPO 的训练全程稳定进行。我们观察到GSPO 可以通过增加训练计算量、定期更新查询集以及延长生成长度来持续提供性能提升。此外GSPO 在训练效率上也显著优于 GRPO在相同的训练计算量和消耗查询数下实现了更好的训练准确率和基准性能。最后我们已成功将 GSPO 应用于最新 Qwen3 模型的强化学习训练这强有力地证明了 GSPO 在释放大规模语言模型强化学习扩展能力方面的功效。图 1从 Qwen3-30B-A3B-Base 微调而来的冷启动模型的训练曲线。GSPO 的训练效率显著高于 GRPO。5.2 关于裁剪比例的奇特观察GSPO 与 GRPO 的一个关键区别在于它对完整响应而非单个词元进行裁剪。特别是如图 2 所示我们观察到 GSPO 和 GRPO 之间被裁剪词元的比例存在两个数量级的差异调整裁剪范围并不会改变这种数量级上的差异。然而尽管 GSPO 裁剪了显著更多的词元从而使用更少的词元进行训练或梯度估计但它仍然实现了比 GRPO 更高的训练效率。这一反直觉的发现——裁剪更大比例的词元反而带来更高的训练效率——进一步表明 GRPO 的词元级梯度估计固有地充满噪声且样本利用效率低下。相比之下GSPO 的序列级方法提供了更可靠、更有效的学习信号。图 2GSPO 和 GRPO 在强化学习训练过程中平均被裁剪词元的比例。5.3 GSPO 对 MoE 训练的益处图 3路由重放策略在 MoE 模型 GRPO 训练正常收敛中起着关键作用。5.4 GSPO 对强化学习基础设施的益处鉴于训练引擎例如 Megatron和推理引擎例如 SGLang 和 vLLM之间的精度差异在实践中我们通常使用训练引擎来重新计算在旧策略 πθold​​ 下采样得到的响应的似然。然而GSPO 仅使用序列级别而非词元级别的似然进行优化直观上前者对精度差异的容忍度要高得多。因此GSPO 使得直接使用推理引擎返回的似然进行优化成为可能从而避免了使用训练引擎进行重新计算的需要。这在部分回放和多轮强化学习等场景以及训练-推理分离的框架中尤其有益。6 结论我们提出了分组序列策略优化GSPO这是一种用于训练大型语言模型的新型强化学习算法。遵循重要性采样的基本原理GSPO 基于序列似然定义重要性比率并执行序列级别的裁剪、奖励和优化。与 GRPO 相比GSPO 展现出显著更优的训练稳定性、效率和性能并且对于 MoE 模型的大规模强化学习训练尤其有效为最新 Qwen3 模型的卓越改进奠定了基础。以 GSPO 作为一个可扩展的算法基石我们将继续扩展强化学习并期待由此带来的智能方面的根本性进步。