如果你关注大模型推理增强最近多半绕不开两类工作一类把正确轨迹练到极致另一类开始认真对待那些“失败样本”。ReflectRL 正是后者里一个值得拆解的方向它的完整标题是ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning。简单说它把之前 RL 训练里通常被扔掉的负样本通过“黄金负轨迹”筛选出来再配合“反思 → 直接推理”两阶段训练让模型既学会纠错又能在推理时去掉冗长反思直接用更短的推理链给出答案。先说重点方便你决定要不要继续往下看ReflectRL 不是带界面的工具也不是能直接下载的 WebUI 整合包而是一套训练方法/研究方案。它最值得关注的价值有三个一是负轨迹并不是越乱越好需要抽取出“黄金级”训练信号二是反思能力可以在训练阶段用来纠正路径然后被压缩成直接推理三是最后推理阶段 token 更少显存占用、生成延迟和 API 成本都会肉眼可见地下降。对正在训练推理模型、做 RLVR/RLHF 或者想把长思维链模型做成低成本服务的工程师来说这个方向可操作性很强。这篇文章不打算对着摘要复述一遍而是按工程视角拆开为什么负样本能当训练信号Golden Negative Trajectories 怎么筛反思到直接的训练机制怎么设计然后给出一套可直接搬进自己实验的训练流程伪代码、评估方案、部署方式和避坑清单。如果论文官方代码还没公开这套流程也能让你第一时间复现出核心收益。1. 核心能力速览能力项说明项目类型大模型推理增强训练方法 / 研究方案核心关键词强化学习(RL)、负轨迹筛选、反思推理、直接推理蒸馏主要贡献方向利用失败轨迹构造高信号训练数据并将反思能力蒸馏为低延迟直接推理适用底座模型Decoder-only LLMQwen、Llama、DeepSeek 等以具体实现为准训练数据需求带奖励信号的任务数据例如数学/代码/逻辑题的正确性验证器、单元测试、结果规则校验推理阶段成本直接推理模式少输出反思 token可降低 KV Cache 占用和生成时延具体收益需按模型实际测试对外接口能力无内置 API训练产物可借助 vLLM、TGI 等框架发布为 OpenAI 兼容接口启动方式不适用于一键启动需要训练脚本 推理框架组合硬件门槛取决于底座模型和并行方案实验规模需参考论文原文7B 级多卡训练环境是常见起点适合读者做 RL/RLHF/推理优化、研究推理模型、长思维链蒸馏、推理服务降本的开发者和算法工程师有几件事需要先说明白这不是一个“下载即用”的项目所以“显存占用 XX G”“双击启动”这类结论在论文材料里没有依据不能硬写。真正需要关注的是方法本身以及它带来的训练信号重构和推理成本下降。2. 为什么失败轨迹反而能成为高质量训练信号先回顾一下大模型 RL 训练的常见场景。现在很多推理模型走的是 R1 风格路线用大量数学、代码、逻辑题构造 prompt模型先生成多条推理轨迹再用规则验证器或奖励模型打分。正确的轨迹进入策略梯度更新错误的轨迹通常被直接丢弃。问题是错误轨迹真的没有价值吗并不是。在标准策略梯度里目标函数是最大化期望奖励梯度更新可以写成一个很直观的形式θ 更新方向 E[ Σ_t ∇θ log πθ(τ_t | x, τ_t) × A(τ_t) ]其中A(τ)是当前轨迹的收益相对优势。正样本给正向推动负样本给负向推动。负向推动的作用是降低这段推理路径里所有 token 的概率告诉模型“这条路别走”。但在复杂问题上一个错误轨迹里往往不是所有 token 都错。模型可能已经完成了 80% 的正确推理只是最后一步计算失误也有可能模型在中途就绕进了一个错误分支但前面几步仍然具有很好的启发价值。如果把这些轨迹一视同仁地“整体惩罚”模型得到的是一个全面但粗粒度的信号它只知道这段文本不好不知道具体哪些位置不好也不知道更优的路径长什么样。这就是负样本利用率低的原因。ReflectRL 提出的思路是先把错误轨迹分出一个“黄金子集”。什么是黄金负轨迹简单说就是那些从训练角度看信息量最高的失败路径。判断标准通常包括轨迹整体错误但包含了相当比例的正确中间步骤。模型在某个关键节点发生逻辑偏移而这个偏移可以被定位。该轨迹能够通过“反思”产生一个实际可用的修正方案修正后真的能得到正确答案。错误类型属于模型反复踩的坑而不是随机噪声。这样的轨迹一旦进入训练就不再是单纯的惩罚对象而是可以作为中间监督信号、修正示范和直接推理蒸馏语料。换句话说负样本从“要避免的坑”变成“能说明白为什么是坑并且告诉你应该怎么走”的教材。这也是“Golden Negative Trajectories”和普通错误轨迹最本质的区别普通负样本提供负反馈黄金负样本提供结构化纠错示范。后者比前者具备更低的统计噪声和更高的可学习性。3. Golden Negative Trajectories怎么判断负轨迹的“含金量”黄金负轨迹不会自动出现需要经过一套筛选流程。实际训练时建议按下面几个维度组合筛选。第一奖励分数排序。用奖励模型或规则验证器给所有生成轨迹打分后不是把所有低分样本都视为黄金负样本而是看“距离正确有多近”。对于数学题如果最终答案错误但解答过程里有正确的公式和关键递归步骤这类轨迹优先保留。对于代码题如果测试用例大部分通过只有边界条件触发失败这类轨迹同样有价值。第二反思可修复性。这是更重要的筛选条件。取一批错误轨迹让模型基于反思提示生成修正然后检查修正后的回答是否能通过验证器。能修复的轨迹意味着模型在关键路径上具备弥补能力修正后的内容可以直接变成高质量直接推理训练数据。修复不了甚至越修越错的轨迹说明噪声太大建议直接丢弃。第三错误类型覆盖。不要只挑某一种错误。比如数学推理里模型可能经常犯单位换算错误、符号错误、公式记忆错误代码推理里可能有空指针、数值溢出、循环边界错误。黄金负样本筛选时应该有意识地做错误类型聚类或分层保证训练集覆盖多种失败模式而不是被单一错误模式主导。第四轨迹长度与探索性。从 RL 采样的角度看高探索性的轨迹往往包含更多思维步骤也更容易暴露模型在中间推理阶段的弱点。这类轨迹虽然 token 长但对分析“哪个位置开始错”非常有帮助。筛选后的黄金负轨迹一般要满足两个硬指标修复通过率修复后能通过验证器的比例 60% 中间正确率轨迹前 50% token 中语义有效步骤占比 70%这两个指标不需要和原始论文完全一致但它能帮你卡住“黄金”的底线。如果修复通过率太低说明这批负样本大多是随机噪声拿来做训练信号只会增加方差。在工程实现上可以建立一个离线管道把每天的 RL 采样结果统一存下来再通过奖励值、修复验证、错误分类三步过滤形成新的训练集。这比在训练过程中实时筛选更容易控制数据质量也方便复现实验。4. Reflective-to-Direct 推理机制拆解ReflectRL 的核心训练路线可以拆成两个阶段反思阶段和直接推理阶段。反思阶段解决“模型如何从错误中学习”直接推理阶段解决“学习后的能力如何低成本使用”。4.1 反思阶段让模型学会自我纠错反思阶段的思路是面对一个错误轨迹不让模型直接跳到正确答案而是先要求它诊断到底哪里错了为什么错正确的步骤应该怎么调整最后再给出一版修正答案。这种反思行为可以显式地作为训练目标。比如把反思内容插入模型生成序列中训练模型在生成最终答案之前先输出一段“纠错说明”。在 RL 框架下反思序列会与策略梯度一起被优化。模型如果能给出合理的反思并修正到正确答案就可以获得额外奖励从而强化这种“失败后自检”的能力。反思阶段的价值在于把负轨迹从“惩罚对象”变成“学习过程”。模型不再只是收到一个错误信号而是学会了在错误路径上重新定位并修正路径。这直接对应到标题里的 Reflective Reasoning。4.2 直接推理阶段把反思压短训练完成后如果每次推理都先输出一大段反思成本很高。尤其是部署到线上用户提问后你还让模型先想“我刚才可能错在哪里”生成 token 数量会明显增加延迟和费用都上涨。所以第二个阶段要做蒸馏把反思能力内化成更短的直接推理。具体做法是利用反思阶段得到的修正结果构造“问题 → 直接推理 → 答案”的干净语料。模型不再需要先输出反思内容而是直接写出精简后的解题步骤。这个蒸馏过程可以用普通 SFT 完成也可以用带 KL 约束的知识蒸馏让模型在压缩步骤的同时尽量保留关键推理链。标题里的 Direct Reasoning指的就是这种更靠近最终输出的紧凑推理模式。它不是为了取代反思能力而是把反思阶段的成果“沉淀”到模型权重里。训练时模型知道怎么反思、怎么纠错推理时不输出反思也能走出一条更短但更稳的路径。4.3 两阶段在训练中的配合更好的做法是采用课程式训练先让模型在反思模式下学会纠错再用蒸馏让模型切换到直接推理模式。实际训练时可以把两个阶段设计成阶段 ARL 反思监督让模型在错误轨迹上学会生成修正。阶段 BSFT/蒸馏 直接推理语料让模型把修正能力压缩成短链。阶段 C可选。再把阶段 B 得到的模型放回 RL 环境用黄金负样本继续迭代形成“反思提升 → 直接推理 → 再反思再提升”的循环。这种设计既保留了 RL 在探索上的优势又避免了长反思链带来的推理开销。5. 训练流程设计与代码骨架下面给出一套可以直接搬进自己实验的简化训练流程。它不需要依赖特定论文源码只要你的训练环境支持基本的生成、奖励计算和策略更新就能跑通。5.1 整体训练步骤整个管道可以分成以下六步。采样生成对每个训练 prompt用当前策略生成多样化的候选轨迹。奖励打分用规则验证器、单元测试或奖励模型给候选轨迹打分。轨迹分类把轨迹分为正样本、黄金负样本、普通负样本。反思修复对黄金负样本生成反思输出修正后的答案并做验证器校验。策略更新正样本做正向强化黄金负样本做局部负向惩罚并用修正结果做监督学习。直接蒸馏用反思修正结果构造直接推理语料对模型做 SFT/蒸馏压缩推理链。下面是一段简化版 Python 伪代码重点帮助你看清数据流不是完整的训练脚本。# pipeline_demo.py # 简化版反映 ReflectRL 核心数据流真实实现需要接入 accelerator / deepspeed / vllm import random import torch from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(Qwen/Qwen2.5-7B-Instruct) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen2.5-7B-Instruct) # step 1: 采样 def generate_candidates(prompt, n8, temperature0.7): candidates [] for _ in range(n): messages [{role: user, content: prompt}] input_ids tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_tensorspt ).to(model.device) out model.generate( input_ids, max_new_tokens512, do_sampleTrue, temperaturetemperature, top_p0.95, ) response tokenizer.decode(out[0][input_ids.shape[1]:], skip_special_tokensTrue) candidates.append(response) return candidates # step 2: 奖励打分这里是占位函数 def reward_fn(prompt, response): # 数学题用一个结果解析器判断代码题用单测结果判断 # 返回 1.0 或 0.0 raise NotImplementedError(请替换为你的任务验证器) # step 3: 筛选黄金负样本 def filter_golden_negative(prompt, candidates, top_k2): scored [] for c in candidates: r reward_fn(prompt, c) if r 1.0: continue # 使用一个轻量 critic 判断“是否可修复” repair_score heuristic_repairability(prompt, c) # 返回 0~1 if repair_score 0.6: scored.append((c, repair_score)) scored.sort(keylambda x: x[1], reverseTrue) return [x[0] for x in scored[:top_k]] # step 4: 反思修复 def reflect_repair(prompt, wrong_answer, max_new_tokens768): repair_prompt ( f题目{prompt}\n f当前回答{wrong_answer}\n 这段回答并没有得到正确结果。请先分析哪里出了问题 再给出新的完整推理步骤最后输出答案。 ) messages [{role: user, content: repair_prompt}] input_ids tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_tensorspt ).to(model.device) out model.generate( input_ids, max_new_tokensmax_new_tokens, do_sampleTrue, temperature0.3, ) repaired tokenizer.decode(out[0][input_ids.shape[1]:], skip_special_tokensTrue) return repaired几个关键点需要说明reward_fn必须根据自己任务替换成真实可执行的验证器。heuristic_repairability在实验初期可以用一个简单的规则代替比如“错误回答中包含正确公式关键词的比例”“距离正确结果的编辑距离”等。更可靠的实现是训练一个小模型做二分类判断或者让大模型自评“这条路径还存在多少偏移”。5.2 策略更新与蒸馏策略更新部分推荐使用 GRPO 或强化采样类的目标函数这样不需要维护庞大的 Critic value model。伪代码如下# 以正样本 黄金负样本构造 loss def compute_rl_loss(positive_trajs, golden_neg_trajs, repaired_trajs, model, tokenizer): loss 0.0 # 正向强化最大化正确轨迹的 log prob for prompt, ans in positive_trajs: loss - logprob(model, tokenizer, prompt, ans) * 1.0 # 黄金负样本对原始错误轨迹做负向推动权重适当降低 for prompt, ans in golden_neg_trajs: loss logprob(model, tokenizer, prompt, ans) * 0.3 # 反思修正结果作为监督信号最大化 for prompt, repaired in repaired_trajs: loss - logprob(model, tokenizer, prompt, repaired) * 1.0 return loss / (len(positive_trajs) len(golden_neg_trajs) len(repaired_trajs))这里的核心是比例设计正样本权重为 1反思修正结果权重为 1黄金负样本原始轨迹权重设为 0.3 或 0.5。这样模型既不会因为负样本惩罚太多而变得过度保守也能在局部关键步骤上收到“这条路不行”的明确反馈。直接蒸馏阶段直接用普通 SFT 流程即可。把反思修复后且通过验证器校验的正确结果整理成{prompt: ..., completion: 精简推理链 正确答案}的格式然后做 SFT 训练。这里要注意蒸馏语料里的“精简推理链”也应该经过奖励校验否则会把错误推理一起学进去。6. 实验设计与基线对照复现 ReflectRL 思路时实验设计一定要能回答三个问题黄金负样本到底有没有用反思机制有没有用直接蒸馏后能力损失有多大6.1 实验环境建议底座模型可以从 7B 级开始。一方面 7B 模型在数学和代码推理上已经能看出明显差异另一方面训练成本可控出错也容易排查。数据集优先选择带规则验证器的任务比如数学竞赛题、代码生成题目、逻辑推理题这些任务能干净地区分正确和错误。训练框架推荐使用基于支持长序列的 RL 框架例如 openrlhf、verl、deepspeed 加自研采样脚本。采样层可以用 vLLM 并发生成训练层用 ZeRO-2/ZeRO-3 做参数和梯度分片。如果资源有限可以先在较小数据集上跑通再放大。6.2 基线对照设计建议至少跑以下四组基线实验组训练方式关注点Baseline SFT只用正确轨迹 SFT看基础能力上限GRPO无负样本筛选标准 RLVR忽视负样本看普通 RL 信号效果GRPO 黄金负样本在标准 RL 基础上增加筛选负样本看黄金负样本的增益ReflectRL 完整流程黄金负样本 反思修复 直接蒸馏看完整方法效果评估指标不能只看准确率还要看最终准确率验证集或测试集上的通过率。采样效率达到相同准确率需要的候选轨迹数量。Token 预算直接推理模式下平均生成 token 数对比反思模式/长思维链基线的压缩比例。错误修正率黄金负样本修复后通过验证器的比例。稳定性多次运行策略更新的奖励方差。6.3 预期结果与判断标准如果整体方向正确你会在实验里看到三个典型现象加入黄金负样本后模型在“同一难度或略高难度”问题上的准确率比纯 GRPO 更高尤其是那些需要多步推理的任务。反思修复阶段会让模型出现更清晰的自我修正行为比如面对错误答案时能指出关键错误位置。直接蒸馏后生成 token 数明显减少准确率下降控制在可接受范围内甚至在一些简单任务上准确率不降反升因为压缩后的推理链更少废话。如果现象 1 没出现优先检查黄金负样本的筛选标准是不是太宽松。如果现象 3 没出现优先检查直接蒸馏语料的质量可能模型把“精简”理解成了“跳步”。7. 推理阶段部署与性能观察训练完成后的一个主要收益是推理阶段可以运行在“直接推理”模式。这带来两方面的好处生成 token 减少平均响应时间下降。KV Cache 占用减少同等显存下可以容纳更大并发。部署时可以把最终模型发布成 OpenAI 兼容 API方便接入现有业务。下面的示例基于 vLLM# 使用 vLLM 部署直接推理版本 python -m vllm.entrypoints.openai.api_server \ --model /models/reflectrl-direct-7b \ --served-model-name reflectrl-direct \ --dtype bfloat16 \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --port 8001启动后可以直接用 curl 验证curl http://127.0.0.1:8001/v1/chat/completions \ -H Content-Type: application/json \ -d { model: reflectrl-direct-7b, messages: [ {role: user, content: 一个农场有 17 只鸡卖掉 9 只后又来 5 只鸡请问现在有几只} ], max_tokens: 256, temperature: 0.1 }部署后重点观察几个性能指标首 token 延迟直接推理模式通常比长思维链模式更快。平均生成 token 数这是压缩效果的最直观指标可用completion_tokens字段统计。吞吐量同等并发下token 减少意味着 QPS 提升。显存占用使用nvidia-smi或 vLLM 的 metrics 接口观察。如果发现直接推理模式下模型偶尔出现跳步或逻辑不连贯可以在部署时增加一个小的采样温度控制把temperature压到 0.1 以下并要求模型输出步骤编号强制保持推理链完整。更稳妥的做法是在蒸馏阶段保留关键步骤的 3 到 5 步中间结论不要追求极端压缩。8. 常见问题与工程避坑问题现象可能原因排查方式解决方案加入负样本后准确率下降负样本筛选标准过宽混入大量噪声统计黄金负样本的修复通过率低于 60% 则降低采样量提高 golden 准入阈值只保留可验证修复的样本反思修复结果仍然错误反思时温度过高或上下文太长 ReflectRL：用黄金负轨迹教大模型从反思到直接推理
如果你关注大模型推理增强最近多半绕不开两类工作一类把正确轨迹练到极致另一类开始认真对待那些“失败样本”。ReflectRL 正是后者里一个值得拆解的方向它的完整标题是ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning。简单说它把之前 RL 训练里通常被扔掉的负样本通过“黄金负轨迹”筛选出来再配合“反思 → 直接推理”两阶段训练让模型既学会纠错又能在推理时去掉冗长反思直接用更短的推理链给出答案。先说重点方便你决定要不要继续往下看ReflectRL 不是带界面的工具也不是能直接下载的 WebUI 整合包而是一套训练方法/研究方案。它最值得关注的价值有三个一是负轨迹并不是越乱越好需要抽取出“黄金级”训练信号二是反思能力可以在训练阶段用来纠正路径然后被压缩成直接推理三是最后推理阶段 token 更少显存占用、生成延迟和 API 成本都会肉眼可见地下降。对正在训练推理模型、做 RLVR/RLHF 或者想把长思维链模型做成低成本服务的工程师来说这个方向可操作性很强。这篇文章不打算对着摘要复述一遍而是按工程视角拆开为什么负样本能当训练信号Golden Negative Trajectories 怎么筛反思到直接的训练机制怎么设计然后给出一套可直接搬进自己实验的训练流程伪代码、评估方案、部署方式和避坑清单。如果论文官方代码还没公开这套流程也能让你第一时间复现出核心收益。1. 核心能力速览能力项说明项目类型大模型推理增强训练方法 / 研究方案核心关键词强化学习(RL)、负轨迹筛选、反思推理、直接推理蒸馏主要贡献方向利用失败轨迹构造高信号训练数据并将反思能力蒸馏为低延迟直接推理适用底座模型Decoder-only LLMQwen、Llama、DeepSeek 等以具体实现为准训练数据需求带奖励信号的任务数据例如数学/代码/逻辑题的正确性验证器、单元测试、结果规则校验推理阶段成本直接推理模式少输出反思 token可降低 KV Cache 占用和生成时延具体收益需按模型实际测试对外接口能力无内置 API训练产物可借助 vLLM、TGI 等框架发布为 OpenAI 兼容接口启动方式不适用于一键启动需要训练脚本 推理框架组合硬件门槛取决于底座模型和并行方案实验规模需参考论文原文7B 级多卡训练环境是常见起点适合读者做 RL/RLHF/推理优化、研究推理模型、长思维链蒸馏、推理服务降本的开发者和算法工程师有几件事需要先说明白这不是一个“下载即用”的项目所以“显存占用 XX G”“双击启动”这类结论在论文材料里没有依据不能硬写。真正需要关注的是方法本身以及它带来的训练信号重构和推理成本下降。2. 为什么失败轨迹反而能成为高质量训练信号先回顾一下大模型 RL 训练的常见场景。现在很多推理模型走的是 R1 风格路线用大量数学、代码、逻辑题构造 prompt模型先生成多条推理轨迹再用规则验证器或奖励模型打分。正确的轨迹进入策略梯度更新错误的轨迹通常被直接丢弃。问题是错误轨迹真的没有价值吗并不是。在标准策略梯度里目标函数是最大化期望奖励梯度更新可以写成一个很直观的形式θ 更新方向 E[ Σ_t ∇θ log πθ(τ_t | x, τ_t) × A(τ_t) ]其中A(τ)是当前轨迹的收益相对优势。正样本给正向推动负样本给负向推动。负向推动的作用是降低这段推理路径里所有 token 的概率告诉模型“这条路别走”。但在复杂问题上一个错误轨迹里往往不是所有 token 都错。模型可能已经完成了 80% 的正确推理只是最后一步计算失误也有可能模型在中途就绕进了一个错误分支但前面几步仍然具有很好的启发价值。如果把这些轨迹一视同仁地“整体惩罚”模型得到的是一个全面但粗粒度的信号它只知道这段文本不好不知道具体哪些位置不好也不知道更优的路径长什么样。这就是负样本利用率低的原因。ReflectRL 提出的思路是先把错误轨迹分出一个“黄金子集”。什么是黄金负轨迹简单说就是那些从训练角度看信息量最高的失败路径。判断标准通常包括轨迹整体错误但包含了相当比例的正确中间步骤。模型在某个关键节点发生逻辑偏移而这个偏移可以被定位。该轨迹能够通过“反思”产生一个实际可用的修正方案修正后真的能得到正确答案。错误类型属于模型反复踩的坑而不是随机噪声。这样的轨迹一旦进入训练就不再是单纯的惩罚对象而是可以作为中间监督信号、修正示范和直接推理蒸馏语料。换句话说负样本从“要避免的坑”变成“能说明白为什么是坑并且告诉你应该怎么走”的教材。这也是“Golden Negative Trajectories”和普通错误轨迹最本质的区别普通负样本提供负反馈黄金负样本提供结构化纠错示范。后者比前者具备更低的统计噪声和更高的可学习性。3. Golden Negative Trajectories怎么判断负轨迹的“含金量”黄金负轨迹不会自动出现需要经过一套筛选流程。实际训练时建议按下面几个维度组合筛选。第一奖励分数排序。用奖励模型或规则验证器给所有生成轨迹打分后不是把所有低分样本都视为黄金负样本而是看“距离正确有多近”。对于数学题如果最终答案错误但解答过程里有正确的公式和关键递归步骤这类轨迹优先保留。对于代码题如果测试用例大部分通过只有边界条件触发失败这类轨迹同样有价值。第二反思可修复性。这是更重要的筛选条件。取一批错误轨迹让模型基于反思提示生成修正然后检查修正后的回答是否能通过验证器。能修复的轨迹意味着模型在关键路径上具备弥补能力修正后的内容可以直接变成高质量直接推理训练数据。修复不了甚至越修越错的轨迹说明噪声太大建议直接丢弃。第三错误类型覆盖。不要只挑某一种错误。比如数学推理里模型可能经常犯单位换算错误、符号错误、公式记忆错误代码推理里可能有空指针、数值溢出、循环边界错误。黄金负样本筛选时应该有意识地做错误类型聚类或分层保证训练集覆盖多种失败模式而不是被单一错误模式主导。第四轨迹长度与探索性。从 RL 采样的角度看高探索性的轨迹往往包含更多思维步骤也更容易暴露模型在中间推理阶段的弱点。这类轨迹虽然 token 长但对分析“哪个位置开始错”非常有帮助。筛选后的黄金负轨迹一般要满足两个硬指标修复通过率修复后能通过验证器的比例 60% 中间正确率轨迹前 50% token 中语义有效步骤占比 70%这两个指标不需要和原始论文完全一致但它能帮你卡住“黄金”的底线。如果修复通过率太低说明这批负样本大多是随机噪声拿来做训练信号只会增加方差。在工程实现上可以建立一个离线管道把每天的 RL 采样结果统一存下来再通过奖励值、修复验证、错误分类三步过滤形成新的训练集。这比在训练过程中实时筛选更容易控制数据质量也方便复现实验。4. Reflective-to-Direct 推理机制拆解ReflectRL 的核心训练路线可以拆成两个阶段反思阶段和直接推理阶段。反思阶段解决“模型如何从错误中学习”直接推理阶段解决“学习后的能力如何低成本使用”。4.1 反思阶段让模型学会自我纠错反思阶段的思路是面对一个错误轨迹不让模型直接跳到正确答案而是先要求它诊断到底哪里错了为什么错正确的步骤应该怎么调整最后再给出一版修正答案。这种反思行为可以显式地作为训练目标。比如把反思内容插入模型生成序列中训练模型在生成最终答案之前先输出一段“纠错说明”。在 RL 框架下反思序列会与策略梯度一起被优化。模型如果能给出合理的反思并修正到正确答案就可以获得额外奖励从而强化这种“失败后自检”的能力。反思阶段的价值在于把负轨迹从“惩罚对象”变成“学习过程”。模型不再只是收到一个错误信号而是学会了在错误路径上重新定位并修正路径。这直接对应到标题里的 Reflective Reasoning。4.2 直接推理阶段把反思压短训练完成后如果每次推理都先输出一大段反思成本很高。尤其是部署到线上用户提问后你还让模型先想“我刚才可能错在哪里”生成 token 数量会明显增加延迟和费用都上涨。所以第二个阶段要做蒸馏把反思能力内化成更短的直接推理。具体做法是利用反思阶段得到的修正结果构造“问题 → 直接推理 → 答案”的干净语料。模型不再需要先输出反思内容而是直接写出精简后的解题步骤。这个蒸馏过程可以用普通 SFT 完成也可以用带 KL 约束的知识蒸馏让模型在压缩步骤的同时尽量保留关键推理链。标题里的 Direct Reasoning指的就是这种更靠近最终输出的紧凑推理模式。它不是为了取代反思能力而是把反思阶段的成果“沉淀”到模型权重里。训练时模型知道怎么反思、怎么纠错推理时不输出反思也能走出一条更短但更稳的路径。4.3 两阶段在训练中的配合更好的做法是采用课程式训练先让模型在反思模式下学会纠错再用蒸馏让模型切换到直接推理模式。实际训练时可以把两个阶段设计成阶段 ARL 反思监督让模型在错误轨迹上学会生成修正。阶段 BSFT/蒸馏 直接推理语料让模型把修正能力压缩成短链。阶段 C可选。再把阶段 B 得到的模型放回 RL 环境用黄金负样本继续迭代形成“反思提升 → 直接推理 → 再反思再提升”的循环。这种设计既保留了 RL 在探索上的优势又避免了长反思链带来的推理开销。5. 训练流程设计与代码骨架下面给出一套可以直接搬进自己实验的简化训练流程。它不需要依赖特定论文源码只要你的训练环境支持基本的生成、奖励计算和策略更新就能跑通。5.1 整体训练步骤整个管道可以分成以下六步。采样生成对每个训练 prompt用当前策略生成多样化的候选轨迹。奖励打分用规则验证器、单元测试或奖励模型给候选轨迹打分。轨迹分类把轨迹分为正样本、黄金负样本、普通负样本。反思修复对黄金负样本生成反思输出修正后的答案并做验证器校验。策略更新正样本做正向强化黄金负样本做局部负向惩罚并用修正结果做监督学习。直接蒸馏用反思修正结果构造直接推理语料对模型做 SFT/蒸馏压缩推理链。下面是一段简化版 Python 伪代码重点帮助你看清数据流不是完整的训练脚本。# pipeline_demo.py # 简化版反映 ReflectRL 核心数据流真实实现需要接入 accelerator / deepspeed / vllm import random import torch from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(Qwen/Qwen2.5-7B-Instruct) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen2.5-7B-Instruct) # step 1: 采样 def generate_candidates(prompt, n8, temperature0.7): candidates [] for _ in range(n): messages [{role: user, content: prompt}] input_ids tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_tensorspt ).to(model.device) out model.generate( input_ids, max_new_tokens512, do_sampleTrue, temperaturetemperature, top_p0.95, ) response tokenizer.decode(out[0][input_ids.shape[1]:], skip_special_tokensTrue) candidates.append(response) return candidates # step 2: 奖励打分这里是占位函数 def reward_fn(prompt, response): # 数学题用一个结果解析器判断代码题用单测结果判断 # 返回 1.0 或 0.0 raise NotImplementedError(请替换为你的任务验证器) # step 3: 筛选黄金负样本 def filter_golden_negative(prompt, candidates, top_k2): scored [] for c in candidates: r reward_fn(prompt, c) if r 1.0: continue # 使用一个轻量 critic 判断“是否可修复” repair_score heuristic_repairability(prompt, c) # 返回 0~1 if repair_score 0.6: scored.append((c, repair_score)) scored.sort(keylambda x: x[1], reverseTrue) return [x[0] for x in scored[:top_k]] # step 4: 反思修复 def reflect_repair(prompt, wrong_answer, max_new_tokens768): repair_prompt ( f题目{prompt}\n f当前回答{wrong_answer}\n 这段回答并没有得到正确结果。请先分析哪里出了问题 再给出新的完整推理步骤最后输出答案。 ) messages [{role: user, content: repair_prompt}] input_ids tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_tensorspt ).to(model.device) out model.generate( input_ids, max_new_tokensmax_new_tokens, do_sampleTrue, temperature0.3, ) repaired tokenizer.decode(out[0][input_ids.shape[1]:], skip_special_tokensTrue) return repaired几个关键点需要说明reward_fn必须根据自己任务替换成真实可执行的验证器。heuristic_repairability在实验初期可以用一个简单的规则代替比如“错误回答中包含正确公式关键词的比例”“距离正确结果的编辑距离”等。更可靠的实现是训练一个小模型做二分类判断或者让大模型自评“这条路径还存在多少偏移”。5.2 策略更新与蒸馏策略更新部分推荐使用 GRPO 或强化采样类的目标函数这样不需要维护庞大的 Critic value model。伪代码如下# 以正样本 黄金负样本构造 loss def compute_rl_loss(positive_trajs, golden_neg_trajs, repaired_trajs, model, tokenizer): loss 0.0 # 正向强化最大化正确轨迹的 log prob for prompt, ans in positive_trajs: loss - logprob(model, tokenizer, prompt, ans) * 1.0 # 黄金负样本对原始错误轨迹做负向推动权重适当降低 for prompt, ans in golden_neg_trajs: loss logprob(model, tokenizer, prompt, ans) * 0.3 # 反思修正结果作为监督信号最大化 for prompt, repaired in repaired_trajs: loss - logprob(model, tokenizer, prompt, repaired) * 1.0 return loss / (len(positive_trajs) len(golden_neg_trajs) len(repaired_trajs))这里的核心是比例设计正样本权重为 1反思修正结果权重为 1黄金负样本原始轨迹权重设为 0.3 或 0.5。这样模型既不会因为负样本惩罚太多而变得过度保守也能在局部关键步骤上收到“这条路不行”的明确反馈。直接蒸馏阶段直接用普通 SFT 流程即可。把反思修复后且通过验证器校验的正确结果整理成{prompt: ..., completion: 精简推理链 正确答案}的格式然后做 SFT 训练。这里要注意蒸馏语料里的“精简推理链”也应该经过奖励校验否则会把错误推理一起学进去。6. 实验设计与基线对照复现 ReflectRL 思路时实验设计一定要能回答三个问题黄金负样本到底有没有用反思机制有没有用直接蒸馏后能力损失有多大6.1 实验环境建议底座模型可以从 7B 级开始。一方面 7B 模型在数学和代码推理上已经能看出明显差异另一方面训练成本可控出错也容易排查。数据集优先选择带规则验证器的任务比如数学竞赛题、代码生成题目、逻辑推理题这些任务能干净地区分正确和错误。训练框架推荐使用基于支持长序列的 RL 框架例如 openrlhf、verl、deepspeed 加自研采样脚本。采样层可以用 vLLM 并发生成训练层用 ZeRO-2/ZeRO-3 做参数和梯度分片。如果资源有限可以先在较小数据集上跑通再放大。6.2 基线对照设计建议至少跑以下四组基线实验组训练方式关注点Baseline SFT只用正确轨迹 SFT看基础能力上限GRPO无负样本筛选标准 RLVR忽视负样本看普通 RL 信号效果GRPO 黄金负样本在标准 RL 基础上增加筛选负样本看黄金负样本的增益ReflectRL 完整流程黄金负样本 反思修复 直接蒸馏看完整方法效果评估指标不能只看准确率还要看最终准确率验证集或测试集上的通过率。采样效率达到相同准确率需要的候选轨迹数量。Token 预算直接推理模式下平均生成 token 数对比反思模式/长思维链基线的压缩比例。错误修正率黄金负样本修复后通过验证器的比例。稳定性多次运行策略更新的奖励方差。6.3 预期结果与判断标准如果整体方向正确你会在实验里看到三个典型现象加入黄金负样本后模型在“同一难度或略高难度”问题上的准确率比纯 GRPO 更高尤其是那些需要多步推理的任务。反思修复阶段会让模型出现更清晰的自我修正行为比如面对错误答案时能指出关键错误位置。直接蒸馏后生成 token 数明显减少准确率下降控制在可接受范围内甚至在一些简单任务上准确率不降反升因为压缩后的推理链更少废话。如果现象 1 没出现优先检查黄金负样本的筛选标准是不是太宽松。如果现象 3 没出现优先检查直接蒸馏语料的质量可能模型把“精简”理解成了“跳步”。7. 推理阶段部署与性能观察训练完成后的一个主要收益是推理阶段可以运行在“直接推理”模式。这带来两方面的好处生成 token 减少平均响应时间下降。KV Cache 占用减少同等显存下可以容纳更大并发。部署时可以把最终模型发布成 OpenAI 兼容 API方便接入现有业务。下面的示例基于 vLLM# 使用 vLLM 部署直接推理版本 python -m vllm.entrypoints.openai.api_server \ --model /models/reflectrl-direct-7b \ --served-model-name reflectrl-direct \ --dtype bfloat16 \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --port 8001启动后可以直接用 curl 验证curl http://127.0.0.1:8001/v1/chat/completions \ -H Content-Type: application/json \ -d { model: reflectrl-direct-7b, messages: [ {role: user, content: 一个农场有 17 只鸡卖掉 9 只后又来 5 只鸡请问现在有几只} ], max_tokens: 256, temperature: 0.1 }部署后重点观察几个性能指标首 token 延迟直接推理模式通常比长思维链模式更快。平均生成 token 数这是压缩效果的最直观指标可用completion_tokens字段统计。吞吐量同等并发下token 减少意味着 QPS 提升。显存占用使用nvidia-smi或 vLLM 的 metrics 接口观察。如果发现直接推理模式下模型偶尔出现跳步或逻辑不连贯可以在部署时增加一个小的采样温度控制把temperature压到 0.1 以下并要求模型输出步骤编号强制保持推理链完整。更稳妥的做法是在蒸馏阶段保留关键步骤的 3 到 5 步中间结论不要追求极端压缩。8. 常见问题与工程避坑问题现象可能原因排查方式解决方案加入负样本后准确率下降负样本筛选标准过宽混入大量噪声统计黄金负样本的修复通过率低于 60% 则降低采样量提高 golden 准入阈值只保留可验证修复的样本反思修复结果仍然错误反思时温度过高或上下文太长