标题Do We Need Adam? Surprisingly Strong and Sparse Reinforcement Learning with SGD in LLMs作者Sagnik Mukherjee, Lifan Yuan, Pavan Jayasinha, Dilek Hakkani-Tür, Hao PengUIUC / University of Waterloo状态PreprintarXiv:2602.07729v22026-02-24代码https://github.com/SagnikMukherjee/sgd_adam_rlvr文章目录一、一句话结论二、研究背景与动机2.1 研究背景2.2 核心问题2.3 研究假设三、支撑假设的探索性实验研究3.1 自适应学习率可能不必要3.2 动量可能有害四、实验结果验证4.1 实验设置4.2 关键结果4.3 显存优势§4.3五、SGD 诱导稀疏 低秩更新5.1 稀疏性度量5.2 低有效秩5.3 稀疏更新不集中于特定层5.4 训练过程中的稀疏性演化六、PPO 与长时训练的验证6.1 PPO 泛化性6.2 长时训练RLVE七、为什么 SGD 更新更稀疏7.1 稀疏性的两个来源7.2 缺乏自适应学习率是关键7.3 与既有工作的联系八、综合评述8.1 论文的价值与亮点8.2 潜在局限与开放问题8.3 对后续研究的启示一、一句话结论在大模型的可验证奖励强化学习RLVR阶段长期被认为不适合训练大型 Transformer的朴素 SGD竟能媲美甚至超过 AdamW不仅如此SGD 的参数更新极度稀疏仅更新约0.02%参数比 AdamW 稀疏1000×且低秩同时节省高达15.7 GB显存。这揭示RL 与监督学习SFT/预训练的优化本质截然不同SFT 的经验不能直接迁移到 RL。二、研究背景与动机2.1 研究背景AdamW相比于SGD方法引入了额外的一阶动量m t m_tmt​和二阶动量v t v_tvt​参数由于每个待优化的模型参数都要存储一份m t m_tmt​和v t v_tvt​故AdamW优化器状态的显存占用是纯SGD的3倍。2.2 核心问题当前 LLM 的 RL 训练几乎照搬了 next-token-predictionNTP即预训练/SFT阶段的优化实践——尤其是默认使用AdamW优化器。但作者指出RL 与 NTP 在训练机制上存在两个根本差异非平稳性Non-stationarity在线 RL 从当前最新策略采样训练数据数据分布与损失景观随策略共同演化co-evolve而 SFT 数据分布固定。监督信号极度稀疏每个 episode 只从环境获得O(1)bits 的奖励信息远少于 SFT 的O(#tokens)信息。2.3 研究假设基于对已有工作的观察RL 更新只改变 ~20% 参数、更新集中在非主方向 off-principal directions、诱导旋转谱漂移等作者提出Hypothesis在 RLVR 中**动量momentum与逐参数自适应学习率adaptive LR**的重要性远低于 SFT。三、支撑假设的探索性实验研究3.1 自适应学习率可能不必要诊断指标比较 SFT 与 RLVR 训练中 √v二阶矩根的分布离散程度。发现Figure 2SFT 的 √v 标准差约为 RLVR 的22×σ_SFT5.11e-6 vs σ_RL2.29e-7。RLVR 中 √v 集中在狭窄的低幅度区间。发现Figure 6RL 阶段 AdamW 优化器自适应学习率后实际执行的学习率参数分布在0.1100附近。所以实际实验配置 SGD 优化器的固定学习率为0.1并不会遇到因学习率设置的太高而直接震荡无法收敛的问题。含义若 √v 在各参数间高度一致逐参数自适应几乎等价于单一全局步长——自适应机制在 RLVR 中无用武之地。3.2 动量可能有害理由RL 是非平稳的动量编码的是过去损失景观的记忆当数据分布随策略漂移累积的矩估计会指向与当前梯度不一致的方向。诊断指标计算累积动量 m_{t-1} 与当前梯度 g_t 的余弦相似度。发现SFT 中 cos ≈0.997高度一致RLVR 中 cos ≈-0.007近乎正交。这证明 RL 非平稳景观让动量失效甚至有害。四、实验结果验证4.1 实验设置RL 算法GRPO主与 PPO。三大领域① 数学推理NuminaMath-CoT35K 训练样本② 代码生成APPS/CodeContests/TACO/Codeforces③ RLVE自适应可验证环境任务难度自动演化。模型Qwen3-1.7B、Qwen3-8B、Llama-3.1-8B-Instruct。评测数学MATH-500、AMC、AIME24/25、OlympiadBench、GPQA Diamond、代码HumanEval()、MBPP() 的 pass1/pass10。框架verl4×NVIDIA GH200 (96GB)batch256。4.2 关键结果数学Table 2SGD 全面媲美、常常超过 AdamW。在 3K rollout 长度下 SGD 在所有情况下都优于 AdamW。例如 Qwen3-8B 8KSGD 平均 70.0 vs AdamW 69.5。代码Table 3SGD 一致优于 AdamW。4K response 长度下 pass1 平均提升8.78K 下 8.3。动量与自适应 LR 是否有帮助SGDMomentum vs SGD动量在几乎所有情况下损害性能仅 Qwen3-1.7B 一例例外。RMSProp结果好坏参半长 response 时略优Llama 上更差。结论Finding 2动量与自适应学习率都不能稳定提升 RLVR 性能。Finding 1尽管传统认知认为 SGD 不适合训练 Transformer但在 RLVR 中 SGD 与 AdamW 相当、常常更优。4.3 显存优势§4.3AdamW 需 ~12p bytes 优化器状态FP32 的 master weights m v各 4 bytes。SGD 仅需 ~4p bytes只保留 FP32 master weights。Qwen3-1.7B 上理论节省 ~13.6 GB实测峰值显存降低15.7 GB额外收益来自 FSDP 通信缓冲减少。五、SGD 诱导稀疏 低秩更新5.1 稀疏性度量更新稀疏度定义sparsity(θ⁰,θ¹) 1 - ‖θ¹-θ⁰‖₀ / n阈值 1e-5考虑 bfloat16 精度。即 AdamW 更新约 10% 参数SGD 仅更新0.01%差数量级达 ~500–1000×。SGDMomentum 稀疏度类似 SGD而 RMSProp 稀疏度接近 AdamW —— 说明稀疏性主要来自没有自适应学习率。5.2 低有效秩有效秩定义对所有二维权重张量的更新矩阵做 SVD计算解释 99% 谱能量所需奇异值数有效秩。结果Table 4SGD 更新的有效秩远低于 AdamW如 Qwen3-8BRank 26.11 vs 88.48。Llama 上差异较小但趋势一致。5.3 稀疏更新不集中于特定层逐层分析SGD 在所有层都比 AdamW 更稀疏稀疏更新并非集中于特定层或子模块。5.4 训练过程中的稀疏性演化Figure 4AdamW 的更新稀疏度随训练进行而下降更新越来越密而 SGD 几乎保持高稀疏度。Finding 3RLVR 中 SGD 产生高度稀疏更新常仅改动 ~0.02% 参数比 AdamW 稀疏几个数量级有效秩也显著更低。六、PPO 与长时训练的验证6.1 PPO 泛化性将 GRPO 换成 PPOpolicy 与 critic 用同一优化器response 长度 1K。SGD 性能媲美 AdamW且稀疏趋势保持Qwen3-8B 在 SGD 下 99.92% 稀疏AdamW 87.9%。有趣发现PPO 的critic在 SGD 下更新仅 8% 参数而 AdamW 更新 61.1% —— 进一步凸显两者优化行为的质性差异。6.2 长时训练RLVE选用会自动演化的 RLVE 环境避免因缺乏监督信号而更新停滞训练 500 步。SGD 在扩展训练时长下仍匹配 AdamW8K 下 -0.616K 下 -1.5 的微小差距。长训后 SGD 仍保持99.8%参数不变AdamW 仅 86.7%且稀疏度衰减比 AdamW 慢得多。Finding 4SGD 的竞争性能与稀疏性可推广到 PPO并在长时训练下持续保持。七、为什么 SGD 更新更稀疏7.1 稀疏性的两个来源许多更新的幅度接近于零这些微小更新在应用到参数时被浮点舍入floating-point rounding压制bfloat16 的固有约束。7.2 缺乏自适应学习率是关键AdamW 用 √v 归一化放大了那些原本会被舍入压制的微小更新对历史梯度小的参数增大有效步长。SGD/SGDMomentum 没有此放大机制 → 稀疏RMSProp/AdamW 有 → 更密。这一推测由 Table 4(五、SGD 诱导稀疏 低秩更新中表格) 直接印证SGD 家族稀疏自适应家族密集。7.3 与既有工作的联系印证 Zhu et al.(2025)RL 更新集中在参数空间的 off-principal 特征向量方向、诱导旋转。印证 RL 相较 SFT 更新更稀疏、灾难性遗忘更少的结论。共同勾勒出RLVR 发生在一个低维、几何受限的子空间中。八、综合评述8.1 论文的价值与亮点方法论清晰用AdamW 动量 自适应LR的正交分解 四优化器消融矩阵干净地定位了每个组件的作用是优化器分析的范本。诊断先行、实验佐证先用 √v 离散度22×和动量-梯度余弦0.997 vs -0.007两个诊断量建立机制假设再用大规模实验验证逻辑链条完整可信。实用价值直接15.7 GB 显存节省意味着可用更小硬件跑 RL、或放大 batch/模型对算力受限的研究者有普惠意义。深化RL ≠ SFT的认知把稀疏、低秩、抗遗忘等现象统一到RLVR 在低维受限子空间优化的图景与灾难性遗忘减轻、off-principal 更新等前沿发现互相印证。8.2 潜在局限与开放问题规模上限实验最大 8B未在数十/上百 B 前沿模型上验证SGD 的激进大步长在更大模型上的稳定性存疑。舍入-稀疏的耦合稀疏性部分由 bfloat16 舍入引起这意味着报告的0.02%更新是硬件精度伴生现象而非纯算法性质若用更高精度或不同硬件稀疏度可能改变结论的可迁移性需谨慎。稀疏≠有用论文未充分论证稀疏低秩更新与下游能力提升之间的因果关系——稀疏可能只是 RL 信息量小O(1) bits的副产物。超参可比性SGD 与 AdamW 的学习率不在同一量纲公平比较需要各自充分调参作者已做扫描但仍是经验性结论。8.3 对后续研究的启示RL 专用优化器既然动量有害、自适应 LR 冗余可设计面向非平稳目标的轻量优化器如按当前梯度方向自适应、显式对抗分布漂移以及可能的分层模型参数做适应性优化。稀疏性作为归纳偏置可主动利用/引导 RL 更新的稀疏低秩性做参数高效 RL类似 LoRA-for-RL并从机理上解释 RL 为何遗忘更少。精度与稀疏的交互研究系统研究浮点精度、舍入策略对 RL 更新稀疏性与最终性能的影响。预训练能力依赖SGD 只动 0.02% 参数即能激发推理暗示 RL 主要唤醒预训练已有能力而非学习新能力——这与 RL 是否真正扩展能力边界的争论直接相关值得深挖。