一句话总结在线自蒸馏OPSD在长思维链模型上普遍失效拿着参考答案的教师批改信号被答案在方向与幅度上双重主导最终教的是死记硬背。作者利用一个 “只看答案不看题” 的对照老师成功剥离出了这部分信号再用 PMI 把剩下的可迁移残差变成合法的蒸馏目标最终全面超越基座反思行为全程无损论文标题Purified OPSD: On-Policy Self-Distillation Without Losing How to Think论文地址https://arxiv.org/abs/2607.02234作者背景浙江大学、阿里通义实验室、华中科技大学、吉林大学一、动机长思维链long-CoT模型答题前会先展开一大段反思式思考说 “Wait”、“Let me think”发现不对回头重算。这些认知标记词epistemic markers是模型外化不确定性、进行探索和自我纠错的表现也是这类模型泛化能力的来源。把这种能力蒸馏进自己的模型是当下的热门课题在线自蒸馏On-Policy Self-Distillation, OPSD是其中最讲究的一条路线。它的设定是学生在线生成解题轨迹on-policy练的是自己的字迹老师与学生共享同一个基座模型但额外拿到参考答案老师在学生轨迹的每个 token 位置上给出完整的下一词分布学生通过最小化 JSD 散度对齐这个设计同时解决了 off-policy 蒸馏的训练-测试分布错位问题又提供了 token 级的密集监督。老师和学生同源只差一份答案监督信号理应恰到好处但作者在四个长思维链模型Qwen3-8B、Qwen3-4B、R1-Distill-Qwen-7B、OLMo-7B-Thinking上系统评测后发现标准 OPSD 最多带来短暂的边际增益随后一路下滑不少设置越训越差。多篇同期工作报告了同样的观察一个设计如此合理的范式为什么在最需要它的模型上翻车这篇论文把病根挖了出来并给出一个几乎零开销的修复二、核心洞察2.1 症状梳理除了分数下降作者追踪了生成文本中认知标记词的数量变化发现两种截然相反的病态Qwen3-8B全面崩塌。标记词总量从 73K 掉到 40K所有类型均匀衰减“wait” 从 27K 跌到 10K“maybe” 从 12K 跌到 3K模型变成闷头哑巴R1-Distill-7B畸形爆炸。总量从 71K 冲到 115K但增量几乎全部集中在单个 “Wait”34K → 83K其他标记词不升反降模型变成复读机两种表象都属于思维链退化都说明了 OPSD 的答案导向监督没有稳定保住模型的反思能力2.2 假设特权老师不需要思考作者的怀疑直指参考答案老师开着卷答案就在手边它自己不需要反思、不需要探索、不需要自我纠错。它给学生的逐 token 批改可能未实现特权监督原本想要的选择性有益纠正而是在把学生拽向参考答案钦定的具体推理路径即教的是背诵不是思考要验证这个假设得把老师的批改信号拆开。作者构造了一个对照角色 π_ref同一个基座模型只喂参考答案 r把问题 q 完全遮住一个连题目都没见过的老师其批改中不可能包含任何 “看懂题之后” 的指导全部是答案本身带来的惯性。以它为探针老师相对当前学生的总更新可以精确分解为两部分如果 OPSD 按预期工作Δtotal应主要与Δit对齐如果它在教背诵则与Δref对齐这一步是全文方法论上最漂亮的设计不改训练、不加假设只靠一次额外的条件化前向就把 “老师心里在教什么” 变成了可测量的量。对照实验的思想用在了监督信号内部2.3 结果答案诱导分量双重主导作者在每个 OPSD checkpoint 上生成 on-policy 轨迹用冻结基座计算上述分解测方向余弦相似度与幅度范数占比两个指标每个 checkpoint 平均 100 条样本方向与幅度都被答案诱导主导。Δcos(ΔtotalΔref)全程居高更夸张的是Δref / Δtotal持续超过 1.0即答案诱导分量比总更新本身还大意味着可迁移纠正不是在增强总更新而是在反方向上部分抵消它可迁移信号出现得更晚。Qwen3-8B 上Δcos(ΔtotalΔit)从 -0.95 缓慢爬回零附近R1-7B 上Δcos(ΔtotalΔref)在前 100 步内从 0.58 飙到 0.99 后平台化这说明参考信号被快速记忆饱和后才开始常识理解题目但早期的死记硬背已经破坏了推理能力伤害不可逆至此我们可以得出结论OPSD 在长思维链模型上的失败源于答案诱导监督对可迁移监督的双重压制三、解决方案3.1 从残差到分布上一章的诊断直接给出了修复方向把Δref​扔掉让学生学残差Δreflog π - log π_ref​但残差是逐 token 的对数概率差有正有负、不归一不是一个合法的概率分布无法直接作为蒸馏目标。此外也不能只学上述残差每个 token 看到答案后概率会怎样变化因为没考虑 token 本身的分布我们只是要剔除掉 “背答案的影响”而不是把所有先验分布都去掉于是作者使用点互信息PMI搭桥用同一个基座模型只给它看题目 q 不给参考答案产生的概率分布作为干净的起点 P0然后叠加残差分布最后再归一化β 控制修正强度β1 施加完整修正越大越保守新目标完全未受答案污染只包含 token 原本的先验分布与可迁移的修正信号。训练损失只需把标准 OPSD 中的 π_T 换成 P_PMI其余框架原封不动为什么能保住反思行为对 “wait”、“perhaps” 这类认知 token老师 π 和只看答案的 π_ref 都是拿着答案的它们完全不需要犹豫对这些 token 的预测差异很小此时上述学习目标 P_PMI ≈ P0即退回到基座的自然行为不去覆写学生的犹豫和反思基于 P_PMI 构造目标时Δit还要经过两步稳定化处理中心化减去词表均值消除全局 logit 平移tanh 软裁剪c⋅tanh⁡(Δit/c)c10温和地封顶极端值、保持中段近似恒等整个流程只新增了两次额外的前向运算计算 π_ref 和 P0但都是在冻结的教师模型上执行均不需要反传梯度无新增可训练参数实测墙钟训练时间增加不到 10%3.2 理论分析值得注意的是上述构造不是启发式归一化作者提供了严谨的数学推理证据把Δit(v)视作词表上的 “可迁移奖励”在与干净分布 P0 的 KL 距离约束下最大化期望奖励四、实验4.1 主结果实验设置四个长思维链模型 × 两套带参考答案的训练集DASD-10K、Math-CoT-20K用 LoRA rank 64 训练学习率设 5e-6每 50 步评测至 200 步取最佳AIME 2024 / AIME 2025 / HMMT 2025 三个基准12 次评测平均可见标准 OPSD 确实失败8 个组合里 7 个持平或倒退仅 Qwen3-8B 在 Math-CoT-20K 上微涨 0.5OPSD-PMI 无一例外全部超过基座提升幅度跨模型、跨数据集一致说明答案诱导噪声是标准 OPSD 的普适瓶颈而非某个模型的特例4.2 训练经验无需早停标准 OPSD 的曲线是短暂冲高后单调下坡越晚的 checkpoint 越差OPSD-PMI 全程稳定在基线上方checkpoint 之间方差很小。实践中不需要精细早停来规避灾难性退化这是一个实打实的工程优势。4.3 反思能力回到认知标记词分析检查它们的总量变化情况与各单词的分布可见OPSD-PMI 训练全程把标记词总量稳定在基座水平约 70KQwen3-8B 不再崩塌R1-7B 不再爆炸最终 checkpoint 的逐标记词分布与基座几乎重合没有单词畸形集中