1. 核心信息标题DeLS-Spec: Decoupled Long-Short Contexts for Parallel Speculative Drafting目标解决 block-parallel 投机解码如 DFlash在草稿块内部缺乏因果一致性的问题。核心理念将“全局语义长上下文”与“局部连贯性短上下文”解耦Decoupling实现插件化的局部修正。2. 为什么需要这项工作Research Gap痛点DFlash 等并行草稿模型在生成块内 Token 时是位置独立的Position-wise independent导致采纳率受限。既有方案不足Domino、DSpark 等方法虽然引入了因果修正但通常需要**联合训练Joint Training**或微调整个草稿 backbone导致训练成本极高显存与时间。模型绑定无法轻易迁移到其他 DFlash 检查点。缺乏模块化灵活性。3. 关键方法论A. 解耦架构长上下文专家Long-context Expert冻结预训练好的 DFlash作为全局语义约束。短上下文专家Short-context Expert/Local Head轻量级 RNN (GRU) 头仅负责建模局部 Token 间的因果相关性。B. 核心推导基于概率乘积的融合论文提出了 Logit 融合公式旨在将两个专家的意见结合[ \ell(x_i) \ell_L(x_i | y) \alpha \ell_S(x_i | z_i) - \beta \ell_P(x_i) ](\ell_L)来自 DFlash 的并行输出 Logits。(\ell_S)来自 Local Head 的自回归局部预测 Logits。(\ell_P(x_i))Unigram Prior词频偏见。去偏Debiasing机制减去 (\ell_P) 至关重要。因为两个专家都隐含了词频 bias直接相加会导致频度偏见倍增减去它实现了有效的信息互补。C. 训练策略独立训练Independent TrainingLocal Head 在纯文本语料上使用标准的next-token prediction损失函数进行训练。零耦合不需要目标模型Target Model的隐状态不需要 DFlash 的隐状态也不需要联合优化。4. 核心优势训练成本极低在单卡 L20 上训练时间比 Domino-FT 缩短了 12 倍以上显存需求降低 4.7 倍。即插即用Modular Flexible同一个 Local Head 可以直接挂载到任何符合规范的 DFlash-style 检查点上无需重新训练。一致性提升显著增加了草稿的 Average Acceptance Length ((\tau))在 Math 和 Code 任务中表现尤为突出。5. 关键实证结论(\alpha, \beta) 的设置固定参数(\alpha\beta0.3)通常优于可学习的参数。后者往往受限于训练时的“Teacher Forcing”偏差导致推理时表现不如预期。RNN vs. MarkovRNN 结构能够捕捉比单步 Markov 依赖更丰富的局部因果但仍保持了极致的计算效率。性能恢复虽然忽略了长-短上下文的复杂“残差交互项”但 DeLS-Spec 回收了约 75.7% 的潜在性能提升相比于昂贵的 Domino-FT。6. 科研启示与挑战思考空间Teacher-Forcing Gap如何在不牺牲轻量化的情况下解决 Local Head 训练时的分布偏移例如引入 Scheduled Sampling。动态融合策略目前采用固定权重未来是否可以根据草稿块内 Token 的熵Entropy动态调整 (\alpha) 和 (\beta)泛化性该框架是否可以推广到非 DFlash 的并行模型如果草稿模型本身不是 Diffusion-based这种解耦机制是否依然稳健