标题Diffusion-GR2: Diffusion Generative Reasoning Re-ranker来源arXiv, 2607.01170v1️文章简介研究问题如何将自回归推理重排序器转换为块扩散模型在大幅提升推理速度的同时保持排序精度主要贡献论文提出Diffusion-GR2转换方案通过三阶段训练使块扩散重排序器在保持近AR精度的同时实现2.4至3.5倍解码加速。重点思路采用块扩散解码器替代自回归解码器利用块内并行去噪和块间因果注意力机制支持KV缓存复用以减少长推理链的序列解码开销。设计转换微调阶段将AR模型权重初始化到扩散模型并微调使其在无外部约束解码器的情况下自主学习生成有效候选排列解决并行解码导致的重复或缺失等结构缺陷。引入在策略蒸馏阶段让扩散模型基于自身真实解码分布生成轨迹并由AR教师提供密集token级监督消除固定教师轨迹训练带来的离策略分布偏差。应用在策略蒸馏后的强化学习阶段基于重排序奖励和格式奖励优化策略利用轨迹回放计算重要性比率进一步弥补剩余精度差距并提升Top-K排序质量。分析总结在Amazon Beauty数据集上Diffusion-GR2经完整三阶段训练后Recall1达0.2951与AR教师0.2960基本持平且在Recall3和NDCG3指标上略微超越教师模型。转换微调恢复了绝大部分精度损失在策略蒸馏进一步缩小差距强化学习则完成了最后的精度对齐验证了三阶段流程的有效性。块扩散解码器在推理输出长度约130 token时达到172至246 tok/s吞吐量相比AR模型的71 tok/s实现了2.4至3.5倍加速且加速比随输出长度增加而提升。LLM-as-judge评估显示扩散模型的推理痕迹在历史依据、内部一致性、逻辑流及标识符正确性上与AR模型无显著差异证明并行解码未损害推理质量。个人观点论文将AR到扩散模型的转换视为结构化速度与精度权衡问题通过转换微调将AR的排列有效性能力内化至扩散模型避免了外部约束解码器的工程负担再通过在策略蒸馏精准修正分布偏移使RL能在健康策略基础上高效优化。