这份报告详细阐述了 Qwen3.8-Flash-Next 大语言模型的架构设计、优化策略和评估结果。其核心目标是在极低的计算成本下保持甚至超越上一代旗舰模型397B-A17B的性能。为此团队将架构、效率和优化视为一个统一的系统性问题进行联合求解。一、 核心成果与效率卓越的效率新模型总参数量为125B但每个token仅激活6B参数。与上一代397B-A17B模型激活17B参数相比它以约1/3的激活参数、1/3的训练数据和约1/9的训练FLOPs在14个基准测试中的8个上达到或超越了前代水平。主要贡献通过一系列创新设计实现了性能、效率和训练稳定性的同步提升。二、 四大核心架构创新混合 Token 混合器GDN 全注意力采用Gated DeltaNet (GDN)与全局注意力层混合。每4层中3层为高效的GDN将上下文压缩为固定大小的状态1层为全注意力保留关键的Token级检索能力。这种设计在保证长序列处理能力的同时大幅降低了计算复杂度。Qwen 稀疏注意力 (QSA)在持续预训练阶段用QSA替换全注意力层专为长上下文高达1M token设计。核心机制使用一个轻量级索引器将序列压缩成“微块”并评估其重要性核心注意力模块只关注最相关的微块。效果在1M上下文长度下预填充速度提升7.6倍解码速度提升4.9倍且性能无损甚至略有提升。门控残差 (Gated Residual, GR)将传统的单路残差流拓宽为4个并行分支并通过一个可学习的、逐元素的门控机制来动态控制每个分支的读写。作用不仅增加了模型容量更重要的是提供了内在的重缩放机制极大地提升了训练的稳定性消除了损失尖峰。N-gram 嵌入层在主干网络之外增加了一个巨大的51B参数N-gram嵌入表并存储在CPU内存中通过预取技术减少延迟。作用以极低的计算成本FLOPs增加模型容量主要提升了模型的事实记忆和多语言特别是中文能力。三、 优化与训练稳定性优化器Muon AdamW 混合策略采用Muon作为主要优化器其对大矩阵的正交化更新更高效。实施了精细的策略将融合的参数矩阵如QKV拆分后分别应用Muon而嵌入层、MoE路由器等则继续使用AdamW以取得最佳效果。超参数重缩放由于架构和优化器的改变原有的最优超参数学习率、批大小已不适用。团队重新拟合了缩放法则。新法则预测并验证了更大的批大小和学习率能带来更好的收敛效果并且不再需要批大小预热节省了约18.8%的优化器步数。极致的训练稳定性这是本工作的一个关键亮点。通过GR门控机制和Muon优化器的结合模型在压力测试使用4倍最优学习率下依然保持稳定。在实际的全规模训练中没有出现任何一次损失尖峰或梯度异常波动也无需使用额外的裁剪技巧如qk-clip。四、 设计原则与洞察联合优化报告强调架构设计不能只看损失Loss必须同时评估下游任务性能、计算效率和对超参数的敏感性。例如仅靠损失可能会做出错误决策如稀疏写入。实验验证通过精心设计的“压力测试”如恒定高学习率来暴露大规模训练中可能出现的问题确保方案的鲁棒性。分析工具报告利用GR的可解释性分析了信息在残差分支中的流动路径发现一个分支负责长距离传递早期信息而其他分支负责局部信息。Qwen3.8-Flash-Next 是一个在架构、效率和优化三个维度上深度耦合设计的成功案例。它证明了通过精巧的架构创新如GR、QSA、GDN混合和与之匹配的优化策略如Muon、新的缩放法则可以在不牺牲性能的前提下将大模型的训练和推理成本降低一个数量级。其核心设计哲学——将稳定性作为架构设计的一部分而非事后补救——为未来更大规模模型的训练提供了宝贵经验。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示预训练模型权重在这里如下所示摘要我们描述了 Qwen3.8-Flash-Next 的架构及其消融实验。该模型是一个稀疏混合专家模型拥有 125B 总参数每个 token 激活 6B 参数并额外包含 51B 的 n-gram 嵌入表参数这些表存储在加速器之外。在十四个预训练基准测试中该模型在八个基准上领先其前代 397B-A17B 模型在其余基准上最多落后 2.6 个点而激活参数仅为前者的 1/3训练 token 数为 1/3训练 FLOPs 约为 1/9。Token 混合采用 Gated DeltaNet (GDN) 和全局注意力的层级混合策略每四层中有一层为全注意力层在持续预训练阶段这些全注意力层被替换为 Qwen 稀疏注意力 (QSA)后者以微块粒度通过压缩的轻量级索引器对上下文进行评分。残差流被拓宽至四个分支并通过逐元素门控进行读取我们称此设计为门控残差 (GR)。在主干网络之外通过单层 n-gram 嵌入层增加容量其表从主机内存预取。我们沿三个轴评估每个候选更改损失及下游基准测试更改在训练、预填充和解码中的成本及其对最优超参数和训练稳定性的影响。损失和下游准确率并不总是一致增大 n-gram 词汇量会单调降低损失而下游准确率则会饱和。该架构与 Muon 优化器共同将最优学习率和批大小向上推移使批大小预热变得不必要并在压力测试下显著提高了稳定性。损失、基准测试、效率和稳定性构成一个设计问题。联合求解后得到一个同时更高效、更有能力且更稳定的方案。1 引言Qwen3.8-Flash-Next 是一个稀疏混合专家模型拥有 125B 总参数每个 token 激活 6B 参数并额外包含 51B 的 n-gram 嵌入表参数这些表存储在加速器之外。设计目标是以其计算预算的一小部分保持前代旗舰模型 397B-A17B (Qwen Team, 2026) 的质量。在涵盖知识、STEM、推理、编码和多语言能力的十四个预训练基准测试中所得的基础模型在八个基准上领先其前代在其余六个基准上最多落后 2.6 个点 (表 11)而每个 token 激活的参数大约为前者的三分之一训练 token 数约为三分之一训练 FLOPs 约为九分之一。架构上的改变会同时影响三个方面模型在下游任务上的表现、训练和服务的成本以及大规模训练运行是否保持最优和稳定。因此我们沿三个轴评估每个候选更改损失及下游基准测试更改在训练、预填充和解码中的成本及其对最优超参数和训练稳定性的影响。损失、基准测试、效率和稳定性构成一个设计问题我们分别对每个方面进行报告。在本报告中我们强调这三个轴不一致的地方以及由此产生的设计选择。四个架构组件承载了设计每个组件解决一个不同的瓶颈。Token 混合采用 Gated DeltaNet (GDN) (Yang et al., 2024) 和全局注意力的层级混合循环层将前缀压缩为固定大小的状态成本为线性而每四层中的一个全注意力层保留了有限状态记忆无法精确复制的直接 token 级检索能力 (§2.1.1)。在持续预训练阶段这些全注意力层被替换为 Qwen 稀疏注意力 (QSA)后者遵循 Liu 等人 (2025a) 的稀疏注意力路线但以微块粒度通过压缩的轻量级索引器对上下文进行评分因此索引本身的成本随序列长度下降。残差流被拓宽至四个分支 (Baykal 等人2023Zhu 等人2024) 并通过逐元素门控进行读取我们称此设计为门控残差 (GR) (§2.2)拓宽为残差路径增加了容量门控决定如何使用这些容量同时也提供了保持训练稳定的重缩放。通过单层 n-gram 嵌入层 (Google DeepMind, 2025; Cheng 等人2026) 在主干网络之外进一步增加容量其表从主机内存预取 (§2.3)以可忽略的额外每 token FLOPs 和延迟扩展参数数量。图 1: Qwen3.8-Flash-Next 架构。Token 混合在每四个块中交替使用三个 GDN 层和一个 QSA 层。每个子层通过 GR 进行读写GR 拓宽了残差流并逐元素门控读取。第 2 层的一个 n-gram 嵌入层通过主机内存预取在加速器外扩展容量。MTP 模块在投机解码步骤中重用 QSA 索引。评估。损失和下游准确率并不总是一致我们观察到两个方向的分歧。增大 n-gram 词汇量会单调降低损失而下游准确率会饱和并且在固定参数预算下损失最优值与准确率最优值存在分歧 (表 9表 8)。相反从残差状态预测残差读写权重仅带来边际损失减少但带来了明显的基准测试收益 (§2.2)。其他分歧出现得较晚将每个块限制为仅使用门控最高的两个残差分支在预训练损失上几乎没有代价但在进一步训练后会退化 (§2.2)并且从全注意力层中移除位置编码在预训练期间难以区分但在后期阶段影响生成质量 (§2.1.1)。在后续章节中当损失和基准测试趋势一致时为简洁起见我们仅报告损失。优化。Muon (Jordan 等人2024) 应用于充当线性映射的二维权重输入和 n-gram 嵌入、输出头、MoE 路由器和 GR 的低秩投影则保留在 AdamW 上因为在这些地方正交化要么不切实际要么无益 (§3.1)。融合参数在正交化前被拆分因为正交化拼接矩阵会混合不相关子块间的奇异方向 (§3.1)。新架构和优化器也改变了最优超参数因此我们重新拟合了用于 Qwen3.5 系列的缩放法则 (Kaplan 等人2020) (§3.2)。新的缩放法则预测了更大的批大小和学习率这两项预测均被单独验证并确认。更大的批大小提高了大规模下的并行吞吐量更大的学习率则改善收敛。在早期训练中逐步增加批大小并不比从一开始就使用目标批大小更好并且多花费了 18.8% 的优化器步骤因此我们不使用它 (§3.2)。训练稳定性。我们通过压力测试验证训练稳定性这些测试通过提高学习率 (Wortsman 等人2023) 并保持恒定学习率在中等模型规模上重现大规模不稳定性。标准是在同等压力下新方案必须至少与其所替代的上一代方案一样稳定。在四倍最优学习率下之前的结构频繁出现尖峰而新方案始终保持稳定 (§3.3)。将 GR 中的门控隔离到一个单变量对上证实了它是相对于 Qwen3.5 架构稳定性裕度的关键贡献者。由于这些稳定性的直接增强Qwen3.8-Flash-Next 的全规模训练顺利进行没有出现一次损失尖峰或梯度范数异常波动也无需依赖诸如 qk-clip (Kimi Team, 2025) 或 SwiGLU-clip (Agarwal 等人2025) 等显式裁剪方法。组织。§2.1.1 和 §2.1.2 描述 token 混合。§2.2 涵盖门控残差§2.3 涵盖 n-gram 嵌入层§3.1 涵盖优化器§3.2 涵盖超参数缩放§3.3 涵盖稳定性压力测试。随后是所得基础模型和后训练模型的评估。2 模型架构2.1 注意力机制2.1.1 GDN 混合架构图 2: Gated DeltaNet token 混合器。投影后的查询、键和值流通过短因果卷积查询和键在门控 delta 循环前进行 L2 归一化。衰减门 (alpha_{t}) 和写入门 (beta_{t}) 控制循环更新而 sigmoid 输出门调制以零为中心的 RMSNorm 输出。动机。全自注意力提供对每个先前 token 的直接基于内容的访问但其 token 混合成本随序列长度呈二次增长并且在自回归生成期间其键值 (KV) 缓存线性增长 (Vaswani 等人2017)。滑动窗口注意力 (SWA) 将全局访问替换为有界的局部感受野从而减少计算量和缓存消耗。然而窗口外的信息只能通过深度间接传播。这在高效的局部处理和持久的内容相关记忆之间造成了张力。我们通过 Gated DeltaNet (GDN) (Yang 等人2024) 和全局注意力的层级混合来解决这一张力。GDN 将前缀压缩为固定大小的循环状态并根据当前内容更新该状态而交错放置的全局注意力层则保留了任何有限状态循环记忆难以精确复制的直接 token 级检索能力。这一设计选择与表 1 中报告的架构消融实验结果一致。相对于全注意力 Transformer 基线GDN 混合模型在 9 个选定基准中的 8 个上有所提升。相对于 SWA 混合模型它在九个基准中的七个上更强。这些结果支持混合设计但它们本身并未孤立出每个架构组件导致何种改进。与使用 SiLU 输出门的原始 GDN 不同我们在公式 (11) 中使用有界的 sigmoid 门控并在我们的实验中观察到一致的改进。遵循 Qwen3-Next我们采用以零为中心的 RMSNorm 来约束 RMSNorm 权重的增长。相同的公式一致地应用于模型中使用的所有其他 RMSNorm 层。图 2 总结了完整的 GDN token 混合路径。在模型层面我们的混合架构在全注意力层中保留旋转位置编码 (RoPE) (Su 等人2024)。RoPE 和没有位置编码的 NoPE 变体在预训练期间差异很小但 NoPE 变体在后训练后表现出明显更高的无限生成率因此更可能无法终止。我们在每四层中放置一个这样的全注意力层其余三层使用 GDN。这种安排在效率和质量之间取得了良好的平衡而周期性全注意力对于长上下文性能尤为重要。表 1: 架构比较。所有值均为百分比越高越好。EvalPlus 和 MultiPL-E 以 pass1 风格的聚合字段报告。平均值是九个基准的未加权算术平均值。加粗表示每列最佳结果。内核效率。为追求效率我们使用 FlashQLA 优化了 GDN 内核这是一个基于 TileLang 的融合线性注意力内核库。在 NVIDIA GPU 上的多种设置下FlashQLA 相较于 FLA Triton 内核 (Yang Zhang, 2024) 实现了 2−3× 的前向加速和大约 2× 的反向加速。实现和基准测试可在 https://github.com/QwenLM/FlashQLA 获取。架构消融。我们比较了由相同评估流程评估的三个检查点一个全注意力 Transformer、一个 SWA 混合模型和一个 GDN 混合模型。两种混合变体在每四层中使用一个全注意力层其余 token 混合层分别使用 SWA 或 GDNSWA 层的窗口大小为 128。每个检查点对应一个基于 Qwen3.5 架构的 28 层 25B-A3B MoE 模型首先在 400B tokens 和 4K 上下文长度上预训练随后在 80B tokens 和 32K 上下文长度上训练。我们报告 MMLU (Hendrycks 等人2021a)、MMLU-Pro (Wang 等人2024) 和 SuperGPQA (Du 等人2025) 的知识结果MATH (Hendrycks 等人2021b) 和 GSM8K (Cobbe 等人2021) 的 STEM 结果BBH (Suzgun 等人2023) 的推理结果MMMLU (OpenAI, 2024) 的多语言结果以及 EvalPlus 和 MultiPL-E (Cassano 等人2023) 的代码结果。结果报告在表 1 中。GDN 混合模型在九个选定基准中的八个上优于 Transformer并在七个基准上超过 SWA 混合模型。它在七个基准上取得了最佳结果并获得了最高的总体平均值而 SWA 混合模型在 MMLU 上略高在 EvalPlus 上更强。2.1.2 Qwen 稀疏注意力动机。通过选择性地关注重要上下文稀疏注意力缓解了长上下文场景中 softmax 注意力的二次计算瓶颈。最近DSA (Liu 等人2025a) 使用轻量级索引器生成 token 级稀疏掩码实现了显著的推理加速。然而随着序列长度增加其 O(n2)O(n2) 索引器的开销仍然不可忽略。图 3: Qwen 稀疏注意力 (QSA) 概述。QSA 索引器左使用压缩的因果注意力掩码对键块进行评分并选择 top-(k) 索引。这些索引被扩展为微块稀疏注意力掩码用于稀疏核心注意力右。为降低此索引成本Qwen3.8-Flash-Next 采用了 Qwen 稀疏注意力 (QSA)。具体来说QSA 采用轻量级索引器将序列压缩为微块表示估计其重要性并选择最相关的上下文进行注意力计算。此设计在长输入上降低了索引开销同时在任务性能和推理效率之间取得平衡。与跨层共享索引的方法相比QSA 中的层内序列压缩较少依赖跨层相似性使其天然适合混合架构。图 3 说明了 QSA 架构。一个压缩的轻量级索引器首先以微块粒度估计上下文重要性然后指导核心注意力模块中的稀疏计算。图 4: 使用和不使用 QSA 的训练 LM 损失。曲线使用 200 步移动平均平滑。阴影区域标记持续预训练的最后阶段插图显示该区域内 QSA 与全注意力基线之间的每步损失差异。实现细节。对于 Qwen3.8-Flash-Next主干和 MTP 模块中的所有全注意力层都被替换为 QSA以提高长序列上的推理效率。压缩轻量级索引器采用 MQA 结构具有四个查询头和一个共享键头使用上述部分 RoPE 配置。在 token 预算为 K2048 且压缩比为 r4 的情况下QSA 为每个查询选择最多 512 个完整块并额外包含最后一个不完整块中的尾部 tokens。来自索引器的准确重要性估计使模型能够在阶段 2 稀疏训练期间紧密匹配全注意力的 LM 损失轨迹。如图 4 所示两条损失曲线保持高度一致总体损失差异在 10−4 数量级。为高效训练我们实现了一个融合的 QSA 内核它联合计算稀疏注意力输出和 KL 损失而无需实例化中间结果从而显著降低内存消耗。压缩后的索引器在压缩后对序列进行评分减少了索引器计算和 top-kk 选择开销。此外多步 MTP 在预测步骤中重用 top-kk 索引以进一步降低草稿模型推理成本。QSA 评估。我们通过将配备 QSA 的 Qwen3.8-Flash-Next 与其全注意力基线进行比较来评估 QSA。表 2 报告了知识、STEM、推理、多语言和编码基准测试的结果广泛评估了稀疏注意力是否影响模型在长上下文检索之外的一般能力。表 2Qwen3.8-Flash-Next 在全注意力和 QSA 下在广泛使用的知识、STEM、推理、多语言和编码基准上的性能比较。加粗值表示每个基准的最佳结果。表 3Qwen3.8-Flash-Next 在 RULER 和 8-needle MRCR 上的长上下文检索性能。RULER 分数是在序列长度范围内平均的。加粗值表示每个设置中的最佳结果平均值是两个基准的宏观平均值。QSA 在八个基准中的七个上达到或超过全注意力基线并将平均分从 75.9 提高到 76.8。其余差异很小并未表明任何任务类别存在系统性退化。总体而言这些结果表明 QSA 在实现更高效的长上下文推理的同时保留了模型在短上下文任务上的通用能力。除短上下文基准外我们在两个广泛使用的长上下文基准 RULER (Hsieh 等人2024) 和 MRCR (OpenAI, 2025) 上评估 QSA 的检索能力。我们在从 4K 到 1000K 的序列长度上评估 RULER并在从 128K 到 1M 的长度上使用 8-needle MRCR 设置如表 3 所示。QSA 在较短长度上与全注意力相当并且随着上下文增长表现更好。特别是QSA 在 512K 以上将 RULER 分数从 90.08 提高到 93.00。在 MRCR 上分数在 512K 时从 30.66 增加到 40.53在 1M 时从 20.71 增加到 26.44。这些结果表明 QSA 在提高长上下文推理效率的同时不会牺牲任务性能并且在更长的序列长度上带来进一步的收益。表 4在四步投机解码下使用全注意力和 QSA 的平均 MTP 接受长度。我们进一步研究了 QSA 对多 token 预测 (MTP) 模块的影响。除了将 MTP 中的注意力层替换为 QSA 外我们遵循 GLM (GLM-5-Team, 2026) 并在投机解码步骤中重用 top-k 索引以进一步提高草稿模型效率。为了评估重用 QSA 是否影响 MTP 性能我们在不同领域的基准上进行了四步投机解码实验结果报告在表 4 中。结果显示 QSA 重用后平均接受长度没有显著变化。架构消融。我们在 35B-A3B 规模上对 QSA 进行了架构消融实验重点关注压缩比和索引器头数。如图 5 所示我们使用序列长度高达 1M 的 RULER (Hsieh 等人2024) 分数作为评估指标。所有实验均使用阶段 2 稀疏训练后获得的 CPT 模型进行评估。对于压缩比消融我们评估了具有不同微块大小的 QSA。我们额外包含了训练感知的 IndexShare (Bai 等人2026) 作为基线它通过在混合模型中的相邻全注意力层之间统一共享 top-KK 索引来减少索引开销。在图 5(a) 中我们报告了两种方法相对于其估计的索引器延迟缩减的 RULER 性能。QSA 在相对索引器延迟为 0.25 时匹配全注意力基线而 IndexShare 在 0.5 时仍低于基线。对于 IndexShare0.5 表示在由三个 GDN 层分隔的两个全注意力层之间共享单个索引。此结果突显了在混合架构中层内压缩的优势因为跨层索引共享可能受到低层间相似性的限制。查询头的数量直接影响索引器效率特别是在预填充阶段。因此我们在 RULER 上评估了具有不同数量查询头的 MQA 索引器如图 5(b) 所示。图 5: QSA 在 RULER 上的架构消融。(a) 不同微块大小的 QSA 性能“保留 xn”表示保留用于计算的 IndexShare 索引器层数。(b) 密集蒸馏和稀疏训练后不同数量的索引器查询头的性能。图 6: 预填充和解码期间 QSA 在不同上下文长度下的内核级延迟。面板 (a,b) 比较不同压缩比下的索引器延迟而面板 (c,d) 比较密集 GQA 和 QSA包括索引器和稀疏核心注意力之间的内核级注意力延迟。分块预填充使用 16K-token 块批大小为 1解码使用批大小 4 和 next_n 4对应于三个 MTP 预测步骤。箭头指示上下文长度为 1M 时的加速比。密集初始化后直接应用索引器进行稀疏注意力会导致明显的性能下降。短暂的联合训练使主干能够适应稀疏注意力模式并恢复到全注意力水平。结果表明QSA 仅使用少量索引器查询头即可保持性能远少于核心注意力模块使用的数量。为了平衡推理速度和准确性我们最终采用 4 个查询头作为轻量级索引器配置。2.2 残差连接动机。残差连接为每个块提供了一条通往网络输出的直接路径 (He 等人2016)。预归一化保持大规模训练稳定 (Xiong 等人2020)但它会衰减每一层接收到的信号每个块读取相同的流因此早期写入的特征必须与之后写入的所有特征竞争。几项工作通过增加绕过瓶颈的路径来解决这个问题包括密集层间连接 (Huang 等人2017)、为注意力值增加额外的残差路径 (Zhou 等人2024) 以及跨层重用缓存状态 (Sun 等人2024)。直接修改残差路径的工作分为两个系列。第一类使每一层的读取和写入更具表达力遵循高速网络 (highway networks) (Srivastava 等人2015)。第二类拓宽流本身交替更新 (AltUp) (Baykal 等人2023) 和超连接 (HC) (Zhu 等人2024) 将单个残差向量替换为若干个并行分支。两者是互补的拓宽增加容量而更丰富的读/写机制决定如何使用这些容量。表 5: 在 560B tokens 上训练的 25B-A3B MoE 模型的残差读/写消融。基准测试和评估流程与 §2.1.1 相同。所有拓宽变体使用 nr4 个分支静态是公式 (26)-(28) 中 λ⋆0 的情况动态是其数据相关的对应情况。在表 5 中GR 和 mHC (动态) 的主要区别在于逐元素的 Hmix 和移除了 Hres。在此规模下两者性能相当。GR 的效率优势在于移除 HresHres 消除了每块对残差状态的完整读取减少了内存流量。稳定性优势有两方面GatedNorm 本身提高了训练稳定性分析见 §3.3并且放弃需要单独约束的 Hres 消除了一个潜在的不稳定源。GR 与 HC、mHC 和 VWN (Seed, 2025) 属于同一家族不同之处在于额外的表达力花费在哪里。HC 和 mHC 保持读取和写入为每分支标量并将容量投入到 Hres 中mHC 进一步约束其为双随机矩阵。VWN 也保留这些标量而是拓宽 token 嵌入将其分割成许多窄段这种分割同样追求更细粒度的读写操作。GR 将其表达力花费在读取上门控是逐元素的并完全放弃 Hres消融实验表明这没有成本并且移除了每块对完整残差状态的读取这是拓宽流的主要推理成本。由于公式 (32) 中的读取已经进行了归一化和门控GR 也取代了块的预归一化而不是位于其前面公式 (24) 失去了它的 Norm拓宽也没有增加归一化层。并且由于没有混合算子分支保持独立因为分支仅由块写入并通过公式 (32) 读取。这使得信息流易于追踪我们在 §2.2 的分析中使用了这一点。与注意力残差的比较。注意力残差 (AttnRes) (Team 等人2026) 使用对早期层输出的 softmax 注意力来确定每个子层的读取。Full AttnRes 关注每个先前子层的输出。Block AttnRes 将 LL 个子层划分为大小为 SS 的块将每个块求和为一个表示并关注这些块。表 6 在我们的设置中比较了这两种变体与 GR一个 28 层模型L56L56 个子层每个都带有和不带 GN。Full AttnRes 是该系列中最强的设置在 1.762 处与 GR 持平而汇总块在 S2 时花费 0.008在 S4 时花费 0.011。相同的顺序在更深层也成立在 48 层S4 的 Block AttnRes 达到 1.711而 GR 为 1.707。GN 在每个设置中都降低了损失AttnRes 降低了 0.004-0.005普通预归一化基线降低了 0.002。当子层读取的输入更复杂时门控帮助更大这正是 GR 在其读取内部携带的门控。表 6: 28 层时的残差设计有和没有 GatedNorm (GN)。损失是最终训练损失S 是汇总为一个 Block AttnRes 表示的子层数量。下标给出相对于左列的变化。分支的用途。消融实验表明 GR 改进了损失和基准测试但产生增益的机制是什么由于 GR 没有残差分支混合每个分支是过去输出的普通累加器我们可以精确分解每个块读取的内容分解为来自每个早期块的贡献。我们使用此分解将 GR 模型与没有 GR 的相同参考模型进行比较发现额外宽度被用于几个特定路径一个分支在多个层中保留早期注意力输出而其他三个分支保持局部。2.3 N-gram 嵌入动机。基于嵌入的记忆为扩展模型容量提供了互补维度 (Google DeepMind, 2025RWKV Community, 2025Gemma Team, 2026Liu 等人2026Sadhukhan 等人2026Tseng De Sa, 2026)。N-gram 嵌入通过基于局部上下文而非仅 token 身份来调节记忆检索进一步推广了 unigram 查找 (Huang 等人2021Roy 等人2022Huang 等人2025Yu 等人2025Cheng 等人2026Chen 等人2026)。具体来说以每个 token 结尾的短 n-gram 作为嵌入表的键检索到的向量增强相应的 token 表示。N-gram 记忆以可忽略的额外每 token FLOPs 扩展容量同时确定性寻址支持主机内存卸载和异步预取 (Google DeepMind, 2025Cheng 等人2026)。在本节中我们系统研究 N-gram 嵌入的关键架构选择。我们在所有实验中使用每个激活参数 300 个 token (TPP)。2.3.1 N-gram 嵌入层的放置表 7: N-gram 嵌入层放置的影响。所有设置中 N-gram 嵌入参数总数固定。2.3.2 N-gram 词汇量大小我们在固定参数预算下消融了 N-gram 嵌入层的放置位置和数量。单层变体涵盖浅层第 1-4 层、中间层第 10 和 15 层和深层第 25 层位置。对于多层配置我们将一个浅层第 2 层与一个中间层第 15 层或一个深层第 25 层结合。结果如表 7 所示。没有单一深度机制始终占优。前两层表现强劲而中间层和深层位置也具有竞争力。在多层之间分配相同的参数预算没有带来一致的收益。结合第 2 层和第 25 层带来的边际损失减少并未转化为下游性能的提升。单层 N-gram 嵌入就足够了。此外不同放置位置的相对性能在全注意力和 GDN 下相似§2.1.1表明放置选择对注意力机制基本不敏感。我们将其放置在第 2 层允许主机内存预取与第一层的计算重叠。2.3.2 N-gram 词汇量大小我们进一步探索缩放 N-gram 嵌入词汇量大小的影响。表 8: 在固定总模型参数预算下N-gram 词汇量缩放的影响。词汇量规模相对于基础 tokenizer 词汇量大小 (250K) 进行测量。调整 MoE 专家数量以抵消额外的 N-gram 嵌入参数。固定参数预算下的分配。遵循先前工作我们缩放 N-gram 嵌入槽位同时减少专家数量以保持固定的总参数预算。结果报告在表 8 中。损失随词汇量大小非单调变化在 10×(25%) 时最低与先前工作中报告的分配最佳点一致 (Liu 等人2026Cheng 等人2026)。相同的优化在其他评估中并不明显。域外不可作弊 PPL 在不同预算下变化很小下游基准测试相较于纯 MoE 基线也没有显示出明显改进。这些结果表明 N-gram 嵌入和 MoE 专家在扩展容量方面扮演着不同的角色。因此我们在保持 MoE 参数预算固定的情况下研究 N-gram 词汇量缩放。表 9: N-gram 词汇量缩放的影响。词汇量规模相对于基础 tokenizer 词汇量大小 (250K) 进行测量。更大的词汇量增加了总参数数量。通过增加参数进行缩放。由于嵌入表是稀疏访问且确定性寻址的它们可以以可忽略的额外每 token 计算进行缩放并存储在加速器外存储中 (Google DeepMind, 2025Cheng 等人2026)。因此我们超越固定大小设置将 N-gram 词汇量从 20V 缩放到 200V其中 V 表示 Qwen3.5 的基础 tokenizer 词汇量大小 (Qwen Team, 2026)。结果如表 9 所示。损失随着 N-gram 词汇量增长而单调递减而下游性能并未遵循相同趋势。词汇量缩放相对于基线带来了广泛的收益但某些基准上的性能随着词汇量增长而饱和或波动。此外中文基准例如 C-Eval 和 CMMLU的性能随着 N-gram 词汇量大小而持续提高。除了词汇量缩放我们还探索了一系列提高 N-gram 嵌入参数效率的策略包括但不限于用于词汇压缩的 token 归一化 (Cheng 等人2026)、跨 N-gram 阶数的非均匀分配、以及基于频率的嵌入槽位划分。尽管做出了这些努力我们在训练配方中未观察到一致的性能提升。3 优化3.1 优化器动机。基于矩阵的优化器 Muon (Jordan 等人2024) 通过使用 Newton-Schulz (NS) 迭代正交化动量来计算矩阵参数的更新方向并已被证明在大规模下有效 (Liu 等人2025bKimi Team, 2025)。我们使用 Muon 作为主要优化器并发现若干设计选择影响其实际效率和稳定性我们在下面描述。哪些参数使用 Muon。我们将 Muon 应用于真正充当线性映射的二维权重注意力 q/k/v 和输出投影、GDN (Yang 等人2024) 输入和输出投影、路由专家和共享专家的 fc1/fc2以及 N-gram 嵌入层中的键/值投影。输入嵌入和输出头保留在 AdamW 上。对于 MoE 路由器我们观察到 Muon 加剧了早期训练波动并破坏了路由器的稳定性。尽管在训练中后期将 Muon 应用于路由器不会引起不稳定但我们没有发现显著的性能提升。因此我们对路由器使用 AdamW。一种可能的解释是路由器的每个输出维度对应一个专家的分数这些维度在很大程度上是独立的没有留下可供正交化利用的共享线性结构。GR 的两个低秩投影 (§2.2) 同样在 AdamW 上表现更好。我们将其归因于它们非常细长的形状。最后n-gram 嵌入表在禁用权重衰减的 Adam 上运行。拆分融合参数。在 Megatron-LM (Shoeybi 等人2019) 中注意力 qkv 投影、SwiGLU (Shazeer, 2020) fc1 和 GDN 输入投影各存储为一个融合矩阵但它们在语义上是沿输出维度拼接的独立线性算子。对融合矩阵进行正交化在两方面是错误的迭代混合了不相关子块间的奇异方向并且 γ(A,B) 是根据拼接后的形状而非真实算子形状计算的。因此我们在正交化前拆分融合梯度在每个子矩阵上独立运行 NS并在应用更新前将结果收集回原始布局。qkv 和 GDN 输入投影按每头粒度拆分这改善了损失和下游基准测试。fc1 被拆分为其门控和上投影两部分损失基本不变而基准测试略有改善。拆分还为将单个子矩阵从 Muon 中排除提供了自然粒度。具体来说GDN 衰减和 beta 投影产生每个头一个标量因此是向量正交化对其没有意义。对于输出门控注意力输出门控 (Qiu 等人2025b) 和 GDN zz 投影我们的消融实验发现 AdamW 与 Muon 相当或略好。3.2 超参数缩放动机。选择接近最优的超参数对于高效稳定的模型训练至关重要。在之前的 Qwen 模型世代中我们为关键超参数拟合了缩放法则例如学习率 (η) 和批大小 (B) (Qwen Team, 2024Yang 等人2025)。最优学习率和批大小取决于模型架构和优化器因此对于上一代模型最优的配方在两者都改变后可能变得次优。在我们之前的 Qwen3.5 超参数配方 (Qwen Team, 2026) 下我们发现新架构和优化器的训练明显比以前更稳定§3.3这表明有空间采用更积极的超参数设置以进一步提高训练性能。因此我们开发了一个更新的超参数缩放法则。架构和优化器的变化将预测的接近最优超参数向显著更大的批大小和学习率方向移动并且学习率随模型大小增加而衰减得更慢。在小规模下拟合的缩放法则只有在可靠外推时才有用。我们分别验证了学习率和批大小的预测每种都在旨在使其效果更明显的机制下进行评估批大小预测在训练大量 tokens 的小模型上进行过大的批大小可能导致次优性能学习率预测在有限 token 预算下训练的大模型上进行训练不稳定是主要风险。预测的超参数位于接近最优的盆地中并在预训练损失和基准性能方面均较之前的 Qwen3.5 配方有显著改进。批大小预热不再必要。大规模运行通常在早期训练中逐步增加批大小而不是从一开始就使用其最终值 (Brown 等人2020Liu 等人2024)。其理由是临界批大小在训练早期很小并随时间增长 (McCandlish 等人2018Zhang 等人2024)使得大批次在开始时效率低下。此外较小的批次配合缩放的 learning rate (Goyal 等人2017) 通常更容易在初始步骤中保持稳定。然而我们之前的超参数扫描在使用 Muon 优化器时显示出不同的行为。我们观察到将批大小降低到预测最优点以下会带来比增加它更显著的性能惩罚并且 Muon 在 AdamW 性能下降的较大批大小下仍能保持数据效率 (Jordan 等人2024Essential AI, 2025)。对于稀疏 MoE 模型更大的批次还能确保每个专家每步收到充足且多样的 token 信号这似乎有助于专家专业化 (Qiu 等人2025a)。综合这些观察我们假设批大小预热可能是不必要的。因此我们重新测试了批大小预热。我们将批大小从 6.3M 以 6.3M 的增量增加在 524B tokens 时达到目标 25.2M。我们评估了两个变体第一个保持恒定批次最优值的峰值学习率使预热成为其唯一区别第二个降低峰值学习率以考虑早期较小的批大小。两种变体均未改善性能图 8b。两个预热运行都在运行间方差内收敛但表现略差于恒定批次基线分别差了 2.5×10−4 和 3.5×10−4。此外预热对于相同的 token 预算需要多 18.8% 的优化器步骤导致更大的挂钟时间开销。训练稳定性也未受影响在此扫描中没有运行出现损失超过其局部中位数 0.1 的步骤且 p99.9 预裁剪梯度范数范围在 0.088 到 0.190 之间远低于裁剪阈值 0.5。预热运行的损失轨迹揭示了潜在机制。在预热阶段较小的批大小在相同学习率下引入更高的梯度噪声导致损失高于恒定批次基线。在批大小达到目标后不久预热变体可能由于早期积累的更多优化步骤而表现出短暂的损失优势。然而随着学习率衰减且模型接近收敛这种步数优势被抵消。最终恒定批次基线超过预热运行产生更好的最终损失。因此我们在生产运行中不采用批大小预热。表 10图 9a 中五次学习率运行的下游准确率均在相同的 419B-token 预算下针对 48 层 156B-A7B MoE。所有值均为百分比越高越好基准测试和评估流程与 §2.1.1 相同。加粗表示每列最佳结果。下游基准测试结果证明了我们新的缩放法则拟合所实现的稳健收敛表 10。预测最优点产生最高的平均准确率在大多数评估任务中取得最佳或并列最佳分数而先前配方明显落后。至关重要的是将批大小或学习率增加到预测最优点以上仅导致基准性能出现边际的、统计上不显著的下降。这表明优化景观高度稳定模型的泛化能力不会因轻微的超参数偏差而急剧下降。我们将这些具体排名视为观察性的考虑到每次运行的单次评估以及顶级设置之间的狭窄差距这些微小变化可能在标准评估噪声范围内。除了最终性能在大型模型规模下保持训练稳定性至关重要。所有配置的训练动态都异常稳定。在所有五次运行中预热阶段后梯度裁剪从未被触发。在预测最优点最大预裁剪梯度范数仅达到裁剪阈值的 28%而先前配方为 51%后者因其较小的批大小而遭受更大噪声的梯度图 9b。此外损失曲线非常平滑没有任何损失尖峰没有运行出现损失超过其局部中位数 0.1 的单个步骤。即使在此规模下进一步增加预测学习率也完全稳定。这证实了我们的新缩放法则没有危险地过度外推为大规模训练提供了一种高效、安全且稳健的超参数配方。图 10: 压力下的训练损失。28 层 25B-A3B MoE 在恒定学习率下AdamW 下的 Qwen3.5 结构Muon 下的相同结构以及带有 GR 的 Muon。粗线是微弱每步轨迹上的移动平均。GR 实现了更稳定的训练。3.3 稳定性压力测试动机。当模型扩展到数万亿参数并在数十万亿 tokens 上训练时它进入了一个在小规模实验中完全不会出现的稳定性挑战出现的机制 (Chowdhery 等人2023Zhang 等人2022Dehghani 等人2023Qwen Team, 2026)。例如长时间的训练运行可能会在峰值学习率下花费更多的优化器步骤增加了不稳定性出现的机会。这种不稳定性通常表现为损失尖峰或发散需要检查点重启。为了在中等规模下高效迭代同时仍能暴露出在生产规模下会出现的不稳定性我们设计了一组压力测试在较小的预算内放大相关的应力。当架构和优化器一起改变时这种验证变得至关重要正如它们在 Qwen3.8-Flash-Next 中所做的那样门控残差、GDN 混合和 Muon 都改变了更新和激活的缩放方式确认这些更改在长时间训练下保持稳定是可靠扩展的先决条件。图 11: 压力下的梯度范数和激活值。与图 10 (a) 相同的三次运行。图 (b) 中的激活值在层上平均。门控残差同时降低了梯度范数尖峰的频率和幅度以及激活值离群点的幅度图 11。压力测试设计。遵循大规模不稳定性可以通过提高学习率在小模型中重现的观察 (Wortsman 等人2023)我们在其最优值的倍数上保持学习率恒定绕过标准衰减调度以模拟生产运行的持续峰值学习率。我们将其应用于 28 层 MoE学习率为其最优值的 2× 和 4×。评估标准是新配方必须至少与先前已成功扩展的 Qwen3.5 结构配合 AdamW (Qwen Team, 2026) 一样稳定。所有运行共享相同的批大小和 0.5 的梯度范数裁剪阈值 (Pascanu 等人2013)。我们测量三个量损失尖峰超过 201 步滚动中位数 0.1 以上的步骤、预裁剪梯度范数的 p99.9 和阈值穿越次数以及每块最大激活值。压力测试结果。压力测试揭示了新配方清晰的稳定性裕度。在 2× 最优学习率下AdamW 基线开始出现尖峰每 10k 步 4.3 次而两种 Muon 配置保持高度稳定每 10k 步 0.2 次。在 4× 最优学习率下差异变得明确图 10。AdamW 运行每 10k 步尖峰 183 次并在 19,932 步中的 213 步穿越裁剪阈值持续触发裁剪器。相比之下两种 Muon 运行从未穿越裁剪阈值并且带有门控残差的配置记录了零损失尖峰。在同等压力下新架构和优化器组合要稳定得多。机制门控的作用。分析梯度范数和激活值为这种稳定性裕度提供了洞见。在 2× 最优学习率下Muon 运行表现出比 AdamW 更高的中位梯度范数和更大的最大激活值但产生的损失尖峰却少得多。添加 GR 同时降低了梯度范数尖峰的频率和幅度以及激活值离群点的幅度图 11。为了隔离门控的效果我们在 28 层模型上以 3× 其最优学习率评估了一个单变量对保持 AdamW 优化器和结构固定同时切换 GatedNorm图 12。启用门控将尖峰率从每 10k 步 32.0 次降低到 3.2 次并将阈值穿越次数从 256 次减少到 20 次。在无门控基线上的学习率阶梯显示激活值离群点几乎与学习率成比例增长而尖峰率增长更快图 12c (c)。在最高学习率下启用门控后离群点水平降至最低学习率下的基线以下。这表明在高学习率下训练需要一个重缩放机制没有明确门控网络通过增长激活值离群点来实现这一点使其变得脆弱乘法门控直接提供了必要的重缩放保持训练稳定 (Qiu 等人2025b2026)。图 13: Qwen3.8-Flash-Next 的早期阶段在发布的学习率下。三次运行的前 276B tokens共享数据顺序、学习率调度和优化器使用 Muon 的 Qwen3.5加上门控残差的相同配置以及 Qwen3.8-Flash-Next。阴影带对应于学习率预热。图 (a) 中的插图解析窗口的最后 126B tokens图 (b) 中的插图是 1000 步滚动窗口内梯度范数的标准差。生产运行中的验证。虽然压力测试通过偏离发布配置来放大不稳定性但我们也验证了稳定性优势在实际生产训练配置下仍然存在。我们比较了三次运行的前 276B tokens它们共享相同的数据顺序、学习率调度和优化器使用 Muon 的 Qwen3.5 结构加上 GR 的相同结构以及带有进一步改进的 GR 和 n-gram 嵌入层的完整 Qwen3.8-Flash-Next 配方。在损失方面图 13a添加 GR 使 276B tokens 处的损失降低了 0.026而完整的 Flash-Next 配方又降低了 0.032相对于 Muon 基线总共提高了 0.058。这种损失改善转化为显著的基准测试收益§4使 Qwen3.8-Flash-Next 能够以大约九分之一的训练成本达到与 Qwen3.7-Plus 相当的预训练结果。在梯度范数方面图 13b单独的 Muon 的中位范数大约是有门控运行的两倍p99.9 是有门控运行的 4.24.2 倍0.097/0.298 对 0.053/0.071 和 0.043/0.066并且是唯一穿越裁剪阈值的运行。有门控的运行也更加稳定在 1000 步窗口内的标准差低了 4.3−4.7 倍在 8× 模型规模和发布学习率下重现了压力测试的发现。将残差读取和 LM 头前的最终归一化融合为单个门控读取操作进一步降低了梯度范数这可能是 Flash-Next 与 Muon GR 配置之间差距的主要贡献者。在激活值方面图 13c添加 GR 显著减少了整个网络中的残差最大值在每个探测深度上一致。这使得训练可以稳定进行而无需诸如 qk-clip (Kimi Team, 2025) 和 SwiGLU-clip (Agarwal 等人2025) 等显式激活控制。4 评估我们在一系列广泛的能力上评估 Qwen3.8-Flash-Next-Base 与一组强大的基础模型包括通用知识、推理、数学、科学知识、编码和多语言理解。评估涵盖 14 个基准通用任务MMLU (Hendrycks 等人2021a) (5-shot)MMLU-Pro (Wang 等人2024) (5-shot, CoT)MMLU-Redux (Gema 等人2024) (5-shot)BBH (Suzgun 等人2023) (3-shot, CoT)SuperGPQA (Du 等人2025) (5-shot, CoT)。数学与 STEM 任务GPQA (Rein 等人2024) (5-shot, CoT)GSM8K (Cobbe 等人2021) (4-shot, CoT)MATH (Hendrycks 等人2021b) (4-shot, CoT)。编码任务EvalPlus (Liu 等人2023) (0-shotHumanEval (Chen 等人2021)、MBPP (Austin 等人2021)、HumanEval 和 MBPP 的平均值)MultiPL-E (Cassano 等人2023) (0-shotPython, C, Java, PHP, TypeScript, C#, Bash, JavaScript)SWEBench-Pretrain一个 SWE-bench (Jimenez 等人2024) 的预训练变体。多语言任务MGSM (Shi 等人2022) (8-shot, CoT)MMMLU (OpenAI, 2024) (5-shot)INCLUDE (Romanou 等人2024) (5-shot)。表 11Qwen3.8-Flash-Next、Qwen3.8-27B 和 Qwen3.7-Plus 基础模型的比较。最高分和第二高分分别用加粗和下划线表示。表 11 比较了 Qwen3.8-Flash-Next-Base 与两个强大的基线模型Qwen3.8-27B-Base 和 Qwen3.7-Plus-Base。Qwen3.8-Flash-Next-Base 在所有 14 个基准上始终优于 Qwen3.8-27B-Base展示了在通用知识、推理、数学、编码和多语言能力方面的提升。更值得注意的是它在 14 个基准中的 8 个上优于大得多的 Qwen3.7-Plus-Base同时在其余基准上保持竞争力。这些成果仅使用了约 1/3 的激活参数和 1/3 的训练 tokens对应大约 1/9 的训练 FLOPs。除了训练效率Qwen3.8-Flash-Next 的架构改进加上其显著更少的激活参数数量也带来了显著更低的推理成本。总体而言Qwen3.8-Flash-Next-Base 在训练和推理中都提供了更好的性能-效率权衡。5 结论我们描述了 Qwen3.8-Flash-Next 的架构以及选择它的消融实验。所得的模型保持了上一代 397B-A17B 旗舰模型的质量同时激活参数仅为前者的三分之一训练 token 数为三分之一消耗的 FLOPs 约为九分之一。该设计反映了一种信念即架构、效率和优化构成一个耦合系统。GR 提供了显著提高训练稳定性的重缩放而这种稳定性裕度将最优学习率和批大小向上推移提高了吞吐量和收敛性。分阶段成本核算指导了稀疏注意力设计进入索引器并将门控残差的表达力集中在读取上。如果将任何一个轴从循环中移除就会引入看似无害的捷径稀疏写入在后训练后性能下降位置编码在预训练期间似乎可有可无或者批大小预热浪费额外的优化器步骤却无收益。同样重要的是这些决策是如何验证的。每个主张都在完整评估预算仍然可行的规模上进行了测试并且设置旨在暴露生产训练中的失败模式压力测试将学习率保持在其最优值的倍数上以便在适中的预算内出现不稳定性而缩放法则预测在各自最敏感的机制中得到验证。在预训练指标一致但后期评估出现分歧的地方联合验证协议在问题进入生产前发现了差异。展望未来最紧迫的瓶颈是评估吞吐量一个能够可靠预测后训练排序的更廉价的中等规模探测方法将使设计空间更容易搜索。 On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency,and Training Stability
这份报告详细阐述了 Qwen3.8-Flash-Next 大语言模型的架构设计、优化策略和评估结果。其核心目标是在极低的计算成本下保持甚至超越上一代旗舰模型397B-A17B的性能。为此团队将架构、效率和优化视为一个统一的系统性问题进行联合求解。一、 核心成果与效率卓越的效率新模型总参数量为125B但每个token仅激活6B参数。与上一代397B-A17B模型激活17B参数相比它以约1/3的激活参数、1/3的训练数据和约1/9的训练FLOPs在14个基准测试中的8个上达到或超越了前代水平。主要贡献通过一系列创新设计实现了性能、效率和训练稳定性的同步提升。二、 四大核心架构创新混合 Token 混合器GDN 全注意力采用Gated DeltaNet (GDN)与全局注意力层混合。每4层中3层为高效的GDN将上下文压缩为固定大小的状态1层为全注意力保留关键的Token级检索能力。这种设计在保证长序列处理能力的同时大幅降低了计算复杂度。Qwen 稀疏注意力 (QSA)在持续预训练阶段用QSA替换全注意力层专为长上下文高达1M token设计。核心机制使用一个轻量级索引器将序列压缩成“微块”并评估其重要性核心注意力模块只关注最相关的微块。效果在1M上下文长度下预填充速度提升7.6倍解码速度提升4.9倍且性能无损甚至略有提升。门控残差 (Gated Residual, GR)将传统的单路残差流拓宽为4个并行分支并通过一个可学习的、逐元素的门控机制来动态控制每个分支的读写。作用不仅增加了模型容量更重要的是提供了内在的重缩放机制极大地提升了训练的稳定性消除了损失尖峰。N-gram 嵌入层在主干网络之外增加了一个巨大的51B参数N-gram嵌入表并存储在CPU内存中通过预取技术减少延迟。作用以极低的计算成本FLOPs增加模型容量主要提升了模型的事实记忆和多语言特别是中文能力。三、 优化与训练稳定性优化器Muon AdamW 混合策略采用Muon作为主要优化器其对大矩阵的正交化更新更高效。实施了精细的策略将融合的参数矩阵如QKV拆分后分别应用Muon而嵌入层、MoE路由器等则继续使用AdamW以取得最佳效果。超参数重缩放由于架构和优化器的改变原有的最优超参数学习率、批大小已不适用。团队重新拟合了缩放法则。新法则预测并验证了更大的批大小和学习率能带来更好的收敛效果并且不再需要批大小预热节省了约18.8%的优化器步数。极致的训练稳定性这是本工作的一个关键亮点。通过GR门控机制和Muon优化器的结合模型在压力测试使用4倍最优学习率下依然保持稳定。在实际的全规模训练中没有出现任何一次损失尖峰或梯度异常波动也无需使用额外的裁剪技巧如qk-clip。四、 设计原则与洞察联合优化报告强调架构设计不能只看损失Loss必须同时评估下游任务性能、计算效率和对超参数的敏感性。例如仅靠损失可能会做出错误决策如稀疏写入。实验验证通过精心设计的“压力测试”如恒定高学习率来暴露大规模训练中可能出现的问题确保方案的鲁棒性。分析工具报告利用GR的可解释性分析了信息在残差分支中的流动路径发现一个分支负责长距离传递早期信息而其他分支负责局部信息。Qwen3.8-Flash-Next 是一个在架构、效率和优化三个维度上深度耦合设计的成功案例。它证明了通过精巧的架构创新如GR、QSA、GDN混合和与之匹配的优化策略如Muon、新的缩放法则可以在不牺牲性能的前提下将大模型的训练和推理成本降低一个数量级。其核心设计哲学——将稳定性作为架构设计的一部分而非事后补救——为未来更大规模模型的训练提供了宝贵经验。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示预训练模型权重在这里如下所示摘要我们描述了 Qwen3.8-Flash-Next 的架构及其消融实验。该模型是一个稀疏混合专家模型拥有 125B 总参数每个 token 激活 6B 参数并额外包含 51B 的 n-gram 嵌入表参数这些表存储在加速器之外。在十四个预训练基准测试中该模型在八个基准上领先其前代 397B-A17B 模型在其余基准上最多落后 2.6 个点而激活参数仅为前者的 1/3训练 token 数为 1/3训练 FLOPs 约为 1/9。Token 混合采用 Gated DeltaNet (GDN) 和全局注意力的层级混合策略每四层中有一层为全注意力层在持续预训练阶段这些全注意力层被替换为 Qwen 稀疏注意力 (QSA)后者以微块粒度通过压缩的轻量级索引器对上下文进行评分。残差流被拓宽至四个分支并通过逐元素门控进行读取我们称此设计为门控残差 (GR)。在主干网络之外通过单层 n-gram 嵌入层增加容量其表从主机内存预取。我们沿三个轴评估每个候选更改损失及下游基准测试更改在训练、预填充和解码中的成本及其对最优超参数和训练稳定性的影响。损失和下游准确率并不总是一致增大 n-gram 词汇量会单调降低损失而下游准确率则会饱和。该架构与 Muon 优化器共同将最优学习率和批大小向上推移使批大小预热变得不必要并在压力测试下显著提高了稳定性。损失、基准测试、效率和稳定性构成一个设计问题。联合求解后得到一个同时更高效、更有能力且更稳定的方案。1 引言Qwen3.8-Flash-Next 是一个稀疏混合专家模型拥有 125B 总参数每个 token 激活 6B 参数并额外包含 51B 的 n-gram 嵌入表参数这些表存储在加速器之外。设计目标是以其计算预算的一小部分保持前代旗舰模型 397B-A17B (Qwen Team, 2026) 的质量。在涵盖知识、STEM、推理、编码和多语言能力的十四个预训练基准测试中所得的基础模型在八个基准上领先其前代在其余六个基准上最多落后 2.6 个点 (表 11)而每个 token 激活的参数大约为前者的三分之一训练 token 数约为三分之一训练 FLOPs 约为九分之一。架构上的改变会同时影响三个方面模型在下游任务上的表现、训练和服务的成本以及大规模训练运行是否保持最优和稳定。因此我们沿三个轴评估每个候选更改损失及下游基准测试更改在训练、预填充和解码中的成本及其对最优超参数和训练稳定性的影响。损失、基准测试、效率和稳定性构成一个设计问题我们分别对每个方面进行报告。在本报告中我们强调这三个轴不一致的地方以及由此产生的设计选择。四个架构组件承载了设计每个组件解决一个不同的瓶颈。Token 混合采用 Gated DeltaNet (GDN) (Yang et al., 2024) 和全局注意力的层级混合循环层将前缀压缩为固定大小的状态成本为线性而每四层中的一个全注意力层保留了有限状态记忆无法精确复制的直接 token 级检索能力 (§2.1.1)。在持续预训练阶段这些全注意力层被替换为 Qwen 稀疏注意力 (QSA)后者遵循 Liu 等人 (2025a) 的稀疏注意力路线但以微块粒度通过压缩的轻量级索引器对上下文进行评分因此索引本身的成本随序列长度下降。残差流被拓宽至四个分支 (Baykal 等人2023Zhu 等人2024) 并通过逐元素门控进行读取我们称此设计为门控残差 (GR) (§2.2)拓宽为残差路径增加了容量门控决定如何使用这些容量同时也提供了保持训练稳定的重缩放。通过单层 n-gram 嵌入层 (Google DeepMind, 2025; Cheng 等人2026) 在主干网络之外进一步增加容量其表从主机内存预取 (§2.3)以可忽略的额外每 token FLOPs 和延迟扩展参数数量。图 1: Qwen3.8-Flash-Next 架构。Token 混合在每四个块中交替使用三个 GDN 层和一个 QSA 层。每个子层通过 GR 进行读写GR 拓宽了残差流并逐元素门控读取。第 2 层的一个 n-gram 嵌入层通过主机内存预取在加速器外扩展容量。MTP 模块在投机解码步骤中重用 QSA 索引。评估。损失和下游准确率并不总是一致我们观察到两个方向的分歧。增大 n-gram 词汇量会单调降低损失而下游准确率会饱和并且在固定参数预算下损失最优值与准确率最优值存在分歧 (表 9表 8)。相反从残差状态预测残差读写权重仅带来边际损失减少但带来了明显的基准测试收益 (§2.2)。其他分歧出现得较晚将每个块限制为仅使用门控最高的两个残差分支在预训练损失上几乎没有代价但在进一步训练后会退化 (§2.2)并且从全注意力层中移除位置编码在预训练期间难以区分但在后期阶段影响生成质量 (§2.1.1)。在后续章节中当损失和基准测试趋势一致时为简洁起见我们仅报告损失。优化。Muon (Jordan 等人2024) 应用于充当线性映射的二维权重输入和 n-gram 嵌入、输出头、MoE 路由器和 GR 的低秩投影则保留在 AdamW 上因为在这些地方正交化要么不切实际要么无益 (§3.1)。融合参数在正交化前被拆分因为正交化拼接矩阵会混合不相关子块间的奇异方向 (§3.1)。新架构和优化器也改变了最优超参数因此我们重新拟合了用于 Qwen3.5 系列的缩放法则 (Kaplan 等人2020) (§3.2)。新的缩放法则预测了更大的批大小和学习率这两项预测均被单独验证并确认。更大的批大小提高了大规模下的并行吞吐量更大的学习率则改善收敛。在早期训练中逐步增加批大小并不比从一开始就使用目标批大小更好并且多花费了 18.8% 的优化器步骤因此我们不使用它 (§3.2)。训练稳定性。我们通过压力测试验证训练稳定性这些测试通过提高学习率 (Wortsman 等人2023) 并保持恒定学习率在中等模型规模上重现大规模不稳定性。标准是在同等压力下新方案必须至少与其所替代的上一代方案一样稳定。在四倍最优学习率下之前的结构频繁出现尖峰而新方案始终保持稳定 (§3.3)。将 GR 中的门控隔离到一个单变量对上证实了它是相对于 Qwen3.5 架构稳定性裕度的关键贡献者。由于这些稳定性的直接增强Qwen3.8-Flash-Next 的全规模训练顺利进行没有出现一次损失尖峰或梯度范数异常波动也无需依赖诸如 qk-clip (Kimi Team, 2025) 或 SwiGLU-clip (Agarwal 等人2025) 等显式裁剪方法。组织。§2.1.1 和 §2.1.2 描述 token 混合。§2.2 涵盖门控残差§2.3 涵盖 n-gram 嵌入层§3.1 涵盖优化器§3.2 涵盖超参数缩放§3.3 涵盖稳定性压力测试。随后是所得基础模型和后训练模型的评估。2 模型架构2.1 注意力机制2.1.1 GDN 混合架构图 2: Gated DeltaNet token 混合器。投影后的查询、键和值流通过短因果卷积查询和键在门控 delta 循环前进行 L2 归一化。衰减门 (alpha_{t}) 和写入门 (beta_{t}) 控制循环更新而 sigmoid 输出门调制以零为中心的 RMSNorm 输出。动机。全自注意力提供对每个先前 token 的直接基于内容的访问但其 token 混合成本随序列长度呈二次增长并且在自回归生成期间其键值 (KV) 缓存线性增长 (Vaswani 等人2017)。滑动窗口注意力 (SWA) 将全局访问替换为有界的局部感受野从而减少计算量和缓存消耗。然而窗口外的信息只能通过深度间接传播。这在高效的局部处理和持久的内容相关记忆之间造成了张力。我们通过 Gated DeltaNet (GDN) (Yang 等人2024) 和全局注意力的层级混合来解决这一张力。GDN 将前缀压缩为固定大小的循环状态并根据当前内容更新该状态而交错放置的全局注意力层则保留了任何有限状态循环记忆难以精确复制的直接 token 级检索能力。这一设计选择与表 1 中报告的架构消融实验结果一致。相对于全注意力 Transformer 基线GDN 混合模型在 9 个选定基准中的 8 个上有所提升。相对于 SWA 混合模型它在九个基准中的七个上更强。这些结果支持混合设计但它们本身并未孤立出每个架构组件导致何种改进。与使用 SiLU 输出门的原始 GDN 不同我们在公式 (11) 中使用有界的 sigmoid 门控并在我们的实验中观察到一致的改进。遵循 Qwen3-Next我们采用以零为中心的 RMSNorm 来约束 RMSNorm 权重的增长。相同的公式一致地应用于模型中使用的所有其他 RMSNorm 层。图 2 总结了完整的 GDN token 混合路径。在模型层面我们的混合架构在全注意力层中保留旋转位置编码 (RoPE) (Su 等人2024)。RoPE 和没有位置编码的 NoPE 变体在预训练期间差异很小但 NoPE 变体在后训练后表现出明显更高的无限生成率因此更可能无法终止。我们在每四层中放置一个这样的全注意力层其余三层使用 GDN。这种安排在效率和质量之间取得了良好的平衡而周期性全注意力对于长上下文性能尤为重要。表 1: 架构比较。所有值均为百分比越高越好。EvalPlus 和 MultiPL-E 以 pass1 风格的聚合字段报告。平均值是九个基准的未加权算术平均值。加粗表示每列最佳结果。内核效率。为追求效率我们使用 FlashQLA 优化了 GDN 内核这是一个基于 TileLang 的融合线性注意力内核库。在 NVIDIA GPU 上的多种设置下FlashQLA 相较于 FLA Triton 内核 (Yang Zhang, 2024) 实现了 2−3× 的前向加速和大约 2× 的反向加速。实现和基准测试可在 https://github.com/QwenLM/FlashQLA 获取。架构消融。我们比较了由相同评估流程评估的三个检查点一个全注意力 Transformer、一个 SWA 混合模型和一个 GDN 混合模型。两种混合变体在每四层中使用一个全注意力层其余 token 混合层分别使用 SWA 或 GDNSWA 层的窗口大小为 128。每个检查点对应一个基于 Qwen3.5 架构的 28 层 25B-A3B MoE 模型首先在 400B tokens 和 4K 上下文长度上预训练随后在 80B tokens 和 32K 上下文长度上训练。我们报告 MMLU (Hendrycks 等人2021a)、MMLU-Pro (Wang 等人2024) 和 SuperGPQA (Du 等人2025) 的知识结果MATH (Hendrycks 等人2021b) 和 GSM8K (Cobbe 等人2021) 的 STEM 结果BBH (Suzgun 等人2023) 的推理结果MMMLU (OpenAI, 2024) 的多语言结果以及 EvalPlus 和 MultiPL-E (Cassano 等人2023) 的代码结果。结果报告在表 1 中。GDN 混合模型在九个选定基准中的八个上优于 Transformer并在七个基准上超过 SWA 混合模型。它在七个基准上取得了最佳结果并获得了最高的总体平均值而 SWA 混合模型在 MMLU 上略高在 EvalPlus 上更强。2.1.2 Qwen 稀疏注意力动机。通过选择性地关注重要上下文稀疏注意力缓解了长上下文场景中 softmax 注意力的二次计算瓶颈。最近DSA (Liu 等人2025a) 使用轻量级索引器生成 token 级稀疏掩码实现了显著的推理加速。然而随着序列长度增加其 O(n2)O(n2) 索引器的开销仍然不可忽略。图 3: Qwen 稀疏注意力 (QSA) 概述。QSA 索引器左使用压缩的因果注意力掩码对键块进行评分并选择 top-(k) 索引。这些索引被扩展为微块稀疏注意力掩码用于稀疏核心注意力右。为降低此索引成本Qwen3.8-Flash-Next 采用了 Qwen 稀疏注意力 (QSA)。具体来说QSA 采用轻量级索引器将序列压缩为微块表示估计其重要性并选择最相关的上下文进行注意力计算。此设计在长输入上降低了索引开销同时在任务性能和推理效率之间取得平衡。与跨层共享索引的方法相比QSA 中的层内序列压缩较少依赖跨层相似性使其天然适合混合架构。图 3 说明了 QSA 架构。一个压缩的轻量级索引器首先以微块粒度估计上下文重要性然后指导核心注意力模块中的稀疏计算。图 4: 使用和不使用 QSA 的训练 LM 损失。曲线使用 200 步移动平均平滑。阴影区域标记持续预训练的最后阶段插图显示该区域内 QSA 与全注意力基线之间的每步损失差异。实现细节。对于 Qwen3.8-Flash-Next主干和 MTP 模块中的所有全注意力层都被替换为 QSA以提高长序列上的推理效率。压缩轻量级索引器采用 MQA 结构具有四个查询头和一个共享键头使用上述部分 RoPE 配置。在 token 预算为 K2048 且压缩比为 r4 的情况下QSA 为每个查询选择最多 512 个完整块并额外包含最后一个不完整块中的尾部 tokens。来自索引器的准确重要性估计使模型能够在阶段 2 稀疏训练期间紧密匹配全注意力的 LM 损失轨迹。如图 4 所示两条损失曲线保持高度一致总体损失差异在 10−4 数量级。为高效训练我们实现了一个融合的 QSA 内核它联合计算稀疏注意力输出和 KL 损失而无需实例化中间结果从而显著降低内存消耗。压缩后的索引器在压缩后对序列进行评分减少了索引器计算和 top-kk 选择开销。此外多步 MTP 在预测步骤中重用 top-kk 索引以进一步降低草稿模型推理成本。QSA 评估。我们通过将配备 QSA 的 Qwen3.8-Flash-Next 与其全注意力基线进行比较来评估 QSA。表 2 报告了知识、STEM、推理、多语言和编码基准测试的结果广泛评估了稀疏注意力是否影响模型在长上下文检索之外的一般能力。表 2Qwen3.8-Flash-Next 在全注意力和 QSA 下在广泛使用的知识、STEM、推理、多语言和编码基准上的性能比较。加粗值表示每个基准的最佳结果。表 3Qwen3.8-Flash-Next 在 RULER 和 8-needle MRCR 上的长上下文检索性能。RULER 分数是在序列长度范围内平均的。加粗值表示每个设置中的最佳结果平均值是两个基准的宏观平均值。QSA 在八个基准中的七个上达到或超过全注意力基线并将平均分从 75.9 提高到 76.8。其余差异很小并未表明任何任务类别存在系统性退化。总体而言这些结果表明 QSA 在实现更高效的长上下文推理的同时保留了模型在短上下文任务上的通用能力。除短上下文基准外我们在两个广泛使用的长上下文基准 RULER (Hsieh 等人2024) 和 MRCR (OpenAI, 2025) 上评估 QSA 的检索能力。我们在从 4K 到 1000K 的序列长度上评估 RULER并在从 128K 到 1M 的长度上使用 8-needle MRCR 设置如表 3 所示。QSA 在较短长度上与全注意力相当并且随着上下文增长表现更好。特别是QSA 在 512K 以上将 RULER 分数从 90.08 提高到 93.00。在 MRCR 上分数在 512K 时从 30.66 增加到 40.53在 1M 时从 20.71 增加到 26.44。这些结果表明 QSA 在提高长上下文推理效率的同时不会牺牲任务性能并且在更长的序列长度上带来进一步的收益。表 4在四步投机解码下使用全注意力和 QSA 的平均 MTP 接受长度。我们进一步研究了 QSA 对多 token 预测 (MTP) 模块的影响。除了将 MTP 中的注意力层替换为 QSA 外我们遵循 GLM (GLM-5-Team, 2026) 并在投机解码步骤中重用 top-k 索引以进一步提高草稿模型效率。为了评估重用 QSA 是否影响 MTP 性能我们在不同领域的基准上进行了四步投机解码实验结果报告在表 4 中。结果显示 QSA 重用后平均接受长度没有显著变化。架构消融。我们在 35B-A3B 规模上对 QSA 进行了架构消融实验重点关注压缩比和索引器头数。如图 5 所示我们使用序列长度高达 1M 的 RULER (Hsieh 等人2024) 分数作为评估指标。所有实验均使用阶段 2 稀疏训练后获得的 CPT 模型进行评估。对于压缩比消融我们评估了具有不同微块大小的 QSA。我们额外包含了训练感知的 IndexShare (Bai 等人2026) 作为基线它通过在混合模型中的相邻全注意力层之间统一共享 top-KK 索引来减少索引开销。在图 5(a) 中我们报告了两种方法相对于其估计的索引器延迟缩减的 RULER 性能。QSA 在相对索引器延迟为 0.25 时匹配全注意力基线而 IndexShare 在 0.5 时仍低于基线。对于 IndexShare0.5 表示在由三个 GDN 层分隔的两个全注意力层之间共享单个索引。此结果突显了在混合架构中层内压缩的优势因为跨层索引共享可能受到低层间相似性的限制。查询头的数量直接影响索引器效率特别是在预填充阶段。因此我们在 RULER 上评估了具有不同数量查询头的 MQA 索引器如图 5(b) 所示。图 5: QSA 在 RULER 上的架构消融。(a) 不同微块大小的 QSA 性能“保留 xn”表示保留用于计算的 IndexShare 索引器层数。(b) 密集蒸馏和稀疏训练后不同数量的索引器查询头的性能。图 6: 预填充和解码期间 QSA 在不同上下文长度下的内核级延迟。面板 (a,b) 比较不同压缩比下的索引器延迟而面板 (c,d) 比较密集 GQA 和 QSA包括索引器和稀疏核心注意力之间的内核级注意力延迟。分块预填充使用 16K-token 块批大小为 1解码使用批大小 4 和 next_n 4对应于三个 MTP 预测步骤。箭头指示上下文长度为 1M 时的加速比。密集初始化后直接应用索引器进行稀疏注意力会导致明显的性能下降。短暂的联合训练使主干能够适应稀疏注意力模式并恢复到全注意力水平。结果表明QSA 仅使用少量索引器查询头即可保持性能远少于核心注意力模块使用的数量。为了平衡推理速度和准确性我们最终采用 4 个查询头作为轻量级索引器配置。2.2 残差连接动机。残差连接为每个块提供了一条通往网络输出的直接路径 (He 等人2016)。预归一化保持大规模训练稳定 (Xiong 等人2020)但它会衰减每一层接收到的信号每个块读取相同的流因此早期写入的特征必须与之后写入的所有特征竞争。几项工作通过增加绕过瓶颈的路径来解决这个问题包括密集层间连接 (Huang 等人2017)、为注意力值增加额外的残差路径 (Zhou 等人2024) 以及跨层重用缓存状态 (Sun 等人2024)。直接修改残差路径的工作分为两个系列。第一类使每一层的读取和写入更具表达力遵循高速网络 (highway networks) (Srivastava 等人2015)。第二类拓宽流本身交替更新 (AltUp) (Baykal 等人2023) 和超连接 (HC) (Zhu 等人2024) 将单个残差向量替换为若干个并行分支。两者是互补的拓宽增加容量而更丰富的读/写机制决定如何使用这些容量。表 5: 在 560B tokens 上训练的 25B-A3B MoE 模型的残差读/写消融。基准测试和评估流程与 §2.1.1 相同。所有拓宽变体使用 nr4 个分支静态是公式 (26)-(28) 中 λ⋆0 的情况动态是其数据相关的对应情况。在表 5 中GR 和 mHC (动态) 的主要区别在于逐元素的 Hmix 和移除了 Hres。在此规模下两者性能相当。GR 的效率优势在于移除 HresHres 消除了每块对残差状态的完整读取减少了内存流量。稳定性优势有两方面GatedNorm 本身提高了训练稳定性分析见 §3.3并且放弃需要单独约束的 Hres 消除了一个潜在的不稳定源。GR 与 HC、mHC 和 VWN (Seed, 2025) 属于同一家族不同之处在于额外的表达力花费在哪里。HC 和 mHC 保持读取和写入为每分支标量并将容量投入到 Hres 中mHC 进一步约束其为双随机矩阵。VWN 也保留这些标量而是拓宽 token 嵌入将其分割成许多窄段这种分割同样追求更细粒度的读写操作。GR 将其表达力花费在读取上门控是逐元素的并完全放弃 Hres消融实验表明这没有成本并且移除了每块对完整残差状态的读取这是拓宽流的主要推理成本。由于公式 (32) 中的读取已经进行了归一化和门控GR 也取代了块的预归一化而不是位于其前面公式 (24) 失去了它的 Norm拓宽也没有增加归一化层。并且由于没有混合算子分支保持独立因为分支仅由块写入并通过公式 (32) 读取。这使得信息流易于追踪我们在 §2.2 的分析中使用了这一点。与注意力残差的比较。注意力残差 (AttnRes) (Team 等人2026) 使用对早期层输出的 softmax 注意力来确定每个子层的读取。Full AttnRes 关注每个先前子层的输出。Block AttnRes 将 LL 个子层划分为大小为 SS 的块将每个块求和为一个表示并关注这些块。表 6 在我们的设置中比较了这两种变体与 GR一个 28 层模型L56L56 个子层每个都带有和不带 GN。Full AttnRes 是该系列中最强的设置在 1.762 处与 GR 持平而汇总块在 S2 时花费 0.008在 S4 时花费 0.011。相同的顺序在更深层也成立在 48 层S4 的 Block AttnRes 达到 1.711而 GR 为 1.707。GN 在每个设置中都降低了损失AttnRes 降低了 0.004-0.005普通预归一化基线降低了 0.002。当子层读取的输入更复杂时门控帮助更大这正是 GR 在其读取内部携带的门控。表 6: 28 层时的残差设计有和没有 GatedNorm (GN)。损失是最终训练损失S 是汇总为一个 Block AttnRes 表示的子层数量。下标给出相对于左列的变化。分支的用途。消融实验表明 GR 改进了损失和基准测试但产生增益的机制是什么由于 GR 没有残差分支混合每个分支是过去输出的普通累加器我们可以精确分解每个块读取的内容分解为来自每个早期块的贡献。我们使用此分解将 GR 模型与没有 GR 的相同参考模型进行比较发现额外宽度被用于几个特定路径一个分支在多个层中保留早期注意力输出而其他三个分支保持局部。2.3 N-gram 嵌入动机。基于嵌入的记忆为扩展模型容量提供了互补维度 (Google DeepMind, 2025RWKV Community, 2025Gemma Team, 2026Liu 等人2026Sadhukhan 等人2026Tseng De Sa, 2026)。N-gram 嵌入通过基于局部上下文而非仅 token 身份来调节记忆检索进一步推广了 unigram 查找 (Huang 等人2021Roy 等人2022Huang 等人2025Yu 等人2025Cheng 等人2026Chen 等人2026)。具体来说以每个 token 结尾的短 n-gram 作为嵌入表的键检索到的向量增强相应的 token 表示。N-gram 记忆以可忽略的额外每 token FLOPs 扩展容量同时确定性寻址支持主机内存卸载和异步预取 (Google DeepMind, 2025Cheng 等人2026)。在本节中我们系统研究 N-gram 嵌入的关键架构选择。我们在所有实验中使用每个激活参数 300 个 token (TPP)。2.3.1 N-gram 嵌入层的放置表 7: N-gram 嵌入层放置的影响。所有设置中 N-gram 嵌入参数总数固定。2.3.2 N-gram 词汇量大小我们在固定参数预算下消融了 N-gram 嵌入层的放置位置和数量。单层变体涵盖浅层第 1-4 层、中间层第 10 和 15 层和深层第 25 层位置。对于多层配置我们将一个浅层第 2 层与一个中间层第 15 层或一个深层第 25 层结合。结果如表 7 所示。没有单一深度机制始终占优。前两层表现强劲而中间层和深层位置也具有竞争力。在多层之间分配相同的参数预算没有带来一致的收益。结合第 2 层和第 25 层带来的边际损失减少并未转化为下游性能的提升。单层 N-gram 嵌入就足够了。此外不同放置位置的相对性能在全注意力和 GDN 下相似§2.1.1表明放置选择对注意力机制基本不敏感。我们将其放置在第 2 层允许主机内存预取与第一层的计算重叠。2.3.2 N-gram 词汇量大小我们进一步探索缩放 N-gram 嵌入词汇量大小的影响。表 8: 在固定总模型参数预算下N-gram 词汇量缩放的影响。词汇量规模相对于基础 tokenizer 词汇量大小 (250K) 进行测量。调整 MoE 专家数量以抵消额外的 N-gram 嵌入参数。固定参数预算下的分配。遵循先前工作我们缩放 N-gram 嵌入槽位同时减少专家数量以保持固定的总参数预算。结果报告在表 8 中。损失随词汇量大小非单调变化在 10×(25%) 时最低与先前工作中报告的分配最佳点一致 (Liu 等人2026Cheng 等人2026)。相同的优化在其他评估中并不明显。域外不可作弊 PPL 在不同预算下变化很小下游基准测试相较于纯 MoE 基线也没有显示出明显改进。这些结果表明 N-gram 嵌入和 MoE 专家在扩展容量方面扮演着不同的角色。因此我们在保持 MoE 参数预算固定的情况下研究 N-gram 词汇量缩放。表 9: N-gram 词汇量缩放的影响。词汇量规模相对于基础 tokenizer 词汇量大小 (250K) 进行测量。更大的词汇量增加了总参数数量。通过增加参数进行缩放。由于嵌入表是稀疏访问且确定性寻址的它们可以以可忽略的额外每 token 计算进行缩放并存储在加速器外存储中 (Google DeepMind, 2025Cheng 等人2026)。因此我们超越固定大小设置将 N-gram 词汇量从 20V 缩放到 200V其中 V 表示 Qwen3.5 的基础 tokenizer 词汇量大小 (Qwen Team, 2026)。结果如表 9 所示。损失随着 N-gram 词汇量增长而单调递减而下游性能并未遵循相同趋势。词汇量缩放相对于基线带来了广泛的收益但某些基准上的性能随着词汇量增长而饱和或波动。此外中文基准例如 C-Eval 和 CMMLU的性能随着 N-gram 词汇量大小而持续提高。除了词汇量缩放我们还探索了一系列提高 N-gram 嵌入参数效率的策略包括但不限于用于词汇压缩的 token 归一化 (Cheng 等人2026)、跨 N-gram 阶数的非均匀分配、以及基于频率的嵌入槽位划分。尽管做出了这些努力我们在训练配方中未观察到一致的性能提升。3 优化3.1 优化器动机。基于矩阵的优化器 Muon (Jordan 等人2024) 通过使用 Newton-Schulz (NS) 迭代正交化动量来计算矩阵参数的更新方向并已被证明在大规模下有效 (Liu 等人2025bKimi Team, 2025)。我们使用 Muon 作为主要优化器并发现若干设计选择影响其实际效率和稳定性我们在下面描述。哪些参数使用 Muon。我们将 Muon 应用于真正充当线性映射的二维权重注意力 q/k/v 和输出投影、GDN (Yang 等人2024) 输入和输出投影、路由专家和共享专家的 fc1/fc2以及 N-gram 嵌入层中的键/值投影。输入嵌入和输出头保留在 AdamW 上。对于 MoE 路由器我们观察到 Muon 加剧了早期训练波动并破坏了路由器的稳定性。尽管在训练中后期将 Muon 应用于路由器不会引起不稳定但我们没有发现显著的性能提升。因此我们对路由器使用 AdamW。一种可能的解释是路由器的每个输出维度对应一个专家的分数这些维度在很大程度上是独立的没有留下可供正交化利用的共享线性结构。GR 的两个低秩投影 (§2.2) 同样在 AdamW 上表现更好。我们将其归因于它们非常细长的形状。最后n-gram 嵌入表在禁用权重衰减的 Adam 上运行。拆分融合参数。在 Megatron-LM (Shoeybi 等人2019) 中注意力 qkv 投影、SwiGLU (Shazeer, 2020) fc1 和 GDN 输入投影各存储为一个融合矩阵但它们在语义上是沿输出维度拼接的独立线性算子。对融合矩阵进行正交化在两方面是错误的迭代混合了不相关子块间的奇异方向并且 γ(A,B) 是根据拼接后的形状而非真实算子形状计算的。因此我们在正交化前拆分融合梯度在每个子矩阵上独立运行 NS并在应用更新前将结果收集回原始布局。qkv 和 GDN 输入投影按每头粒度拆分这改善了损失和下游基准测试。fc1 被拆分为其门控和上投影两部分损失基本不变而基准测试略有改善。拆分还为将单个子矩阵从 Muon 中排除提供了自然粒度。具体来说GDN 衰减和 beta 投影产生每个头一个标量因此是向量正交化对其没有意义。对于输出门控注意力输出门控 (Qiu 等人2025b) 和 GDN zz 投影我们的消融实验发现 AdamW 与 Muon 相当或略好。3.2 超参数缩放动机。选择接近最优的超参数对于高效稳定的模型训练至关重要。在之前的 Qwen 模型世代中我们为关键超参数拟合了缩放法则例如学习率 (η) 和批大小 (B) (Qwen Team, 2024Yang 等人2025)。最优学习率和批大小取决于模型架构和优化器因此对于上一代模型最优的配方在两者都改变后可能变得次优。在我们之前的 Qwen3.5 超参数配方 (Qwen Team, 2026) 下我们发现新架构和优化器的训练明显比以前更稳定§3.3这表明有空间采用更积极的超参数设置以进一步提高训练性能。因此我们开发了一个更新的超参数缩放法则。架构和优化器的变化将预测的接近最优超参数向显著更大的批大小和学习率方向移动并且学习率随模型大小增加而衰减得更慢。在小规模下拟合的缩放法则只有在可靠外推时才有用。我们分别验证了学习率和批大小的预测每种都在旨在使其效果更明显的机制下进行评估批大小预测在训练大量 tokens 的小模型上进行过大的批大小可能导致次优性能学习率预测在有限 token 预算下训练的大模型上进行训练不稳定是主要风险。预测的超参数位于接近最优的盆地中并在预训练损失和基准性能方面均较之前的 Qwen3.5 配方有显著改进。批大小预热不再必要。大规模运行通常在早期训练中逐步增加批大小而不是从一开始就使用其最终值 (Brown 等人2020Liu 等人2024)。其理由是临界批大小在训练早期很小并随时间增长 (McCandlish 等人2018Zhang 等人2024)使得大批次在开始时效率低下。此外较小的批次配合缩放的 learning rate (Goyal 等人2017) 通常更容易在初始步骤中保持稳定。然而我们之前的超参数扫描在使用 Muon 优化器时显示出不同的行为。我们观察到将批大小降低到预测最优点以下会带来比增加它更显著的性能惩罚并且 Muon 在 AdamW 性能下降的较大批大小下仍能保持数据效率 (Jordan 等人2024Essential AI, 2025)。对于稀疏 MoE 模型更大的批次还能确保每个专家每步收到充足且多样的 token 信号这似乎有助于专家专业化 (Qiu 等人2025a)。综合这些观察我们假设批大小预热可能是不必要的。因此我们重新测试了批大小预热。我们将批大小从 6.3M 以 6.3M 的增量增加在 524B tokens 时达到目标 25.2M。我们评估了两个变体第一个保持恒定批次最优值的峰值学习率使预热成为其唯一区别第二个降低峰值学习率以考虑早期较小的批大小。两种变体均未改善性能图 8b。两个预热运行都在运行间方差内收敛但表现略差于恒定批次基线分别差了 2.5×10−4 和 3.5×10−4。此外预热对于相同的 token 预算需要多 18.8% 的优化器步骤导致更大的挂钟时间开销。训练稳定性也未受影响在此扫描中没有运行出现损失超过其局部中位数 0.1 的步骤且 p99.9 预裁剪梯度范数范围在 0.088 到 0.190 之间远低于裁剪阈值 0.5。预热运行的损失轨迹揭示了潜在机制。在预热阶段较小的批大小在相同学习率下引入更高的梯度噪声导致损失高于恒定批次基线。在批大小达到目标后不久预热变体可能由于早期积累的更多优化步骤而表现出短暂的损失优势。然而随着学习率衰减且模型接近收敛这种步数优势被抵消。最终恒定批次基线超过预热运行产生更好的最终损失。因此我们在生产运行中不采用批大小预热。表 10图 9a 中五次学习率运行的下游准确率均在相同的 419B-token 预算下针对 48 层 156B-A7B MoE。所有值均为百分比越高越好基准测试和评估流程与 §2.1.1 相同。加粗表示每列最佳结果。下游基准测试结果证明了我们新的缩放法则拟合所实现的稳健收敛表 10。预测最优点产生最高的平均准确率在大多数评估任务中取得最佳或并列最佳分数而先前配方明显落后。至关重要的是将批大小或学习率增加到预测最优点以上仅导致基准性能出现边际的、统计上不显著的下降。这表明优化景观高度稳定模型的泛化能力不会因轻微的超参数偏差而急剧下降。我们将这些具体排名视为观察性的考虑到每次运行的单次评估以及顶级设置之间的狭窄差距这些微小变化可能在标准评估噪声范围内。除了最终性能在大型模型规模下保持训练稳定性至关重要。所有配置的训练动态都异常稳定。在所有五次运行中预热阶段后梯度裁剪从未被触发。在预测最优点最大预裁剪梯度范数仅达到裁剪阈值的 28%而先前配方为 51%后者因其较小的批大小而遭受更大噪声的梯度图 9b。此外损失曲线非常平滑没有任何损失尖峰没有运行出现损失超过其局部中位数 0.1 的单个步骤。即使在此规模下进一步增加预测学习率也完全稳定。这证实了我们的新缩放法则没有危险地过度外推为大规模训练提供了一种高效、安全且稳健的超参数配方。图 10: 压力下的训练损失。28 层 25B-A3B MoE 在恒定学习率下AdamW 下的 Qwen3.5 结构Muon 下的相同结构以及带有 GR 的 Muon。粗线是微弱每步轨迹上的移动平均。GR 实现了更稳定的训练。3.3 稳定性压力测试动机。当模型扩展到数万亿参数并在数十万亿 tokens 上训练时它进入了一个在小规模实验中完全不会出现的稳定性挑战出现的机制 (Chowdhery 等人2023Zhang 等人2022Dehghani 等人2023Qwen Team, 2026)。例如长时间的训练运行可能会在峰值学习率下花费更多的优化器步骤增加了不稳定性出现的机会。这种不稳定性通常表现为损失尖峰或发散需要检查点重启。为了在中等规模下高效迭代同时仍能暴露出在生产规模下会出现的不稳定性我们设计了一组压力测试在较小的预算内放大相关的应力。当架构和优化器一起改变时这种验证变得至关重要正如它们在 Qwen3.8-Flash-Next 中所做的那样门控残差、GDN 混合和 Muon 都改变了更新和激活的缩放方式确认这些更改在长时间训练下保持稳定是可靠扩展的先决条件。图 11: 压力下的梯度范数和激活值。与图 10 (a) 相同的三次运行。图 (b) 中的激活值在层上平均。门控残差同时降低了梯度范数尖峰的频率和幅度以及激活值离群点的幅度图 11。压力测试设计。遵循大规模不稳定性可以通过提高学习率在小模型中重现的观察 (Wortsman 等人2023)我们在其最优值的倍数上保持学习率恒定绕过标准衰减调度以模拟生产运行的持续峰值学习率。我们将其应用于 28 层 MoE学习率为其最优值的 2× 和 4×。评估标准是新配方必须至少与先前已成功扩展的 Qwen3.5 结构配合 AdamW (Qwen Team, 2026) 一样稳定。所有运行共享相同的批大小和 0.5 的梯度范数裁剪阈值 (Pascanu 等人2013)。我们测量三个量损失尖峰超过 201 步滚动中位数 0.1 以上的步骤、预裁剪梯度范数的 p99.9 和阈值穿越次数以及每块最大激活值。压力测试结果。压力测试揭示了新配方清晰的稳定性裕度。在 2× 最优学习率下AdamW 基线开始出现尖峰每 10k 步 4.3 次而两种 Muon 配置保持高度稳定每 10k 步 0.2 次。在 4× 最优学习率下差异变得明确图 10。AdamW 运行每 10k 步尖峰 183 次并在 19,932 步中的 213 步穿越裁剪阈值持续触发裁剪器。相比之下两种 Muon 运行从未穿越裁剪阈值并且带有门控残差的配置记录了零损失尖峰。在同等压力下新架构和优化器组合要稳定得多。机制门控的作用。分析梯度范数和激活值为这种稳定性裕度提供了洞见。在 2× 最优学习率下Muon 运行表现出比 AdamW 更高的中位梯度范数和更大的最大激活值但产生的损失尖峰却少得多。添加 GR 同时降低了梯度范数尖峰的频率和幅度以及激活值离群点的幅度图 11。为了隔离门控的效果我们在 28 层模型上以 3× 其最优学习率评估了一个单变量对保持 AdamW 优化器和结构固定同时切换 GatedNorm图 12。启用门控将尖峰率从每 10k 步 32.0 次降低到 3.2 次并将阈值穿越次数从 256 次减少到 20 次。在无门控基线上的学习率阶梯显示激活值离群点几乎与学习率成比例增长而尖峰率增长更快图 12c (c)。在最高学习率下启用门控后离群点水平降至最低学习率下的基线以下。这表明在高学习率下训练需要一个重缩放机制没有明确门控网络通过增长激活值离群点来实现这一点使其变得脆弱乘法门控直接提供了必要的重缩放保持训练稳定 (Qiu 等人2025b2026)。图 13: Qwen3.8-Flash-Next 的早期阶段在发布的学习率下。三次运行的前 276B tokens共享数据顺序、学习率调度和优化器使用 Muon 的 Qwen3.5加上门控残差的相同配置以及 Qwen3.8-Flash-Next。阴影带对应于学习率预热。图 (a) 中的插图解析窗口的最后 126B tokens图 (b) 中的插图是 1000 步滚动窗口内梯度范数的标准差。生产运行中的验证。虽然压力测试通过偏离发布配置来放大不稳定性但我们也验证了稳定性优势在实际生产训练配置下仍然存在。我们比较了三次运行的前 276B tokens它们共享相同的数据顺序、学习率调度和优化器使用 Muon 的 Qwen3.5 结构加上 GR 的相同结构以及带有进一步改进的 GR 和 n-gram 嵌入层的完整 Qwen3.8-Flash-Next 配方。在损失方面图 13a添加 GR 使 276B tokens 处的损失降低了 0.026而完整的 Flash-Next 配方又降低了 0.032相对于 Muon 基线总共提高了 0.058。这种损失改善转化为显著的基准测试收益§4使 Qwen3.8-Flash-Next 能够以大约九分之一的训练成本达到与 Qwen3.7-Plus 相当的预训练结果。在梯度范数方面图 13b单独的 Muon 的中位范数大约是有门控运行的两倍p99.9 是有门控运行的 4.24.2 倍0.097/0.298 对 0.053/0.071 和 0.043/0.066并且是唯一穿越裁剪阈值的运行。有门控的运行也更加稳定在 1000 步窗口内的标准差低了 4.3−4.7 倍在 8× 模型规模和发布学习率下重现了压力测试的发现。将残差读取和 LM 头前的最终归一化融合为单个门控读取操作进一步降低了梯度范数这可能是 Flash-Next 与 Muon GR 配置之间差距的主要贡献者。在激活值方面图 13c添加 GR 显著减少了整个网络中的残差最大值在每个探测深度上一致。这使得训练可以稳定进行而无需诸如 qk-clip (Kimi Team, 2025) 和 SwiGLU-clip (Agarwal 等人2025) 等显式激活控制。4 评估我们在一系列广泛的能力上评估 Qwen3.8-Flash-Next-Base 与一组强大的基础模型包括通用知识、推理、数学、科学知识、编码和多语言理解。评估涵盖 14 个基准通用任务MMLU (Hendrycks 等人2021a) (5-shot)MMLU-Pro (Wang 等人2024) (5-shot, CoT)MMLU-Redux (Gema 等人2024) (5-shot)BBH (Suzgun 等人2023) (3-shot, CoT)SuperGPQA (Du 等人2025) (5-shot, CoT)。数学与 STEM 任务GPQA (Rein 等人2024) (5-shot, CoT)GSM8K (Cobbe 等人2021) (4-shot, CoT)MATH (Hendrycks 等人2021b) (4-shot, CoT)。编码任务EvalPlus (Liu 等人2023) (0-shotHumanEval (Chen 等人2021)、MBPP (Austin 等人2021)、HumanEval 和 MBPP 的平均值)MultiPL-E (Cassano 等人2023) (0-shotPython, C, Java, PHP, TypeScript, C#, Bash, JavaScript)SWEBench-Pretrain一个 SWE-bench (Jimenez 等人2024) 的预训练变体。多语言任务MGSM (Shi 等人2022) (8-shot, CoT)MMMLU (OpenAI, 2024) (5-shot)INCLUDE (Romanou 等人2024) (5-shot)。表 11Qwen3.8-Flash-Next、Qwen3.8-27B 和 Qwen3.7-Plus 基础模型的比较。最高分和第二高分分别用加粗和下划线表示。表 11 比较了 Qwen3.8-Flash-Next-Base 与两个强大的基线模型Qwen3.8-27B-Base 和 Qwen3.7-Plus-Base。Qwen3.8-Flash-Next-Base 在所有 14 个基准上始终优于 Qwen3.8-27B-Base展示了在通用知识、推理、数学、编码和多语言能力方面的提升。更值得注意的是它在 14 个基准中的 8 个上优于大得多的 Qwen3.7-Plus-Base同时在其余基准上保持竞争力。这些成果仅使用了约 1/3 的激活参数和 1/3 的训练 tokens对应大约 1/9 的训练 FLOPs。除了训练效率Qwen3.8-Flash-Next 的架构改进加上其显著更少的激活参数数量也带来了显著更低的推理成本。总体而言Qwen3.8-Flash-Next-Base 在训练和推理中都提供了更好的性能-效率权衡。5 结论我们描述了 Qwen3.8-Flash-Next 的架构以及选择它的消融实验。所得的模型保持了上一代 397B-A17B 旗舰模型的质量同时激活参数仅为前者的三分之一训练 token 数为三分之一消耗的 FLOPs 约为九分之一。该设计反映了一种信念即架构、效率和优化构成一个耦合系统。GR 提供了显著提高训练稳定性的重缩放而这种稳定性裕度将最优学习率和批大小向上推移提高了吞吐量和收敛性。分阶段成本核算指导了稀疏注意力设计进入索引器并将门控残差的表达力集中在读取上。如果将任何一个轴从循环中移除就会引入看似无害的捷径稀疏写入在后训练后性能下降位置编码在预训练期间似乎可有可无或者批大小预热浪费额外的优化器步骤却无收益。同样重要的是这些决策是如何验证的。每个主张都在完整评估预算仍然可行的规模上进行了测试并且设置旨在暴露生产训练中的失败模式压力测试将学习率保持在其最优值的倍数上以便在适中的预算内出现不稳定性而缩放法则预测在各自最敏感的机制中得到验证。在预训练指标一致但后期评估出现分歧的地方联合验证协议在问题进入生产前发现了差异。展望未来最紧迫的瓶颈是评估吞吐量一个能够可靠预测后训练排序的更廉价的中等规模探测方法将使设计空间更容易搜索。