在大模型部署的实际应用中计算资源消耗和推理速度一直是制约大规模语言模型落地的关键瓶颈。NVIDIA最新发布的Nemotron-Labs-3-Puzzle-75B-A9B模型通过创新的压缩技术成功将120.7B参数的Nemotron-3-Super压缩至75.3B参数同时实现了吞吐量翻倍的突破性进展。本文将深入解析这一技术突破的核心原理、实现细节以及对实际部署的深远影响。1. 模型压缩的技术背景与挑战1.1 大模型部署的现实困境当前大型语言模型在推理部署时面临多重挑战。以Nemotron-3-Super为例其120.7B的总参数和12.8B的激活参数对显存带宽和计算资源提出了极高要求。在实际服务场景中即使是高端GPU集群也难以在保证响应速度的同时实现高并发处理。传统模型压缩方法如剪枝、量化虽然能在一定程度上减小模型体积但往往伴随着显著的性能损失。特别是在需要保持模型多任务能力的场景下简单的均匀压缩策略难以平衡不同任务间的性能需求。1.2 混合专家模型压缩的特殊性Nemotron-3-Super采用混合架构包含40个Mamba块、40个MoE块和8个注意力块。这种混合设计在提升模型能力的同时也为压缩带来了独特挑战。MoE层中的专家路由机制使得不同token激活的参数量存在差异传统的层间均匀压缩策略在这种架构下效果有限。2. Iterative Puzzle压缩算法详解2.1 算法核心思想Iterative Puzzle算法的核心创新在于将单次压缩过程分解为多个渐进式压缩-恢复阶段。与直接求解最终目标架构不同该方法构建了一个逐步压缩的模型序列。算法数学表示为设M₀为原始预训练模型T为用于蒸馏的教师模型。Iterative Puzzle构建模型序列M₀→M₁→⋯→M_R每个步骤应用有限度的结构压缩然后进行恢复阶段。在第r次迭代中算法围绕当前模型M_{r-1}构建Puzzle搜索空间并在该模型上下文中评估候选替换。然后在增量剪枝预算下求解Puzzle优化问题生成压缩的中间模型M̃_r。最后使用教师模型T通过短知识蒸馏阶段修复M̃_r并将恢复后的模型设置为下一轮的起点M_rHeal(M̃_r,T)。2.2 三阶段压缩实施细节在实际实施中研究团队采用了三个压缩-恢复阶段每个阶段针对不同的压缩维度第一阶段将MoE权重压缩至教师容量的75%并将Mamba SSM状态大小修剪至教师的75%。生成的模型使用24B token进行恢复。第二阶段进一步将MoE权重压缩至教师容量的60%模型使用43.2B token进行恢复。第三阶段将激活的路由专家预算约束为教师的50%允许Puzzle在层间异质分配该预算。最终模型使用52.8B token进行恢复。2.3 层间异质分配策略Puzzle算法最显著的特点是实现了层间的异质容量分配。通过计算每层相对教师容量的比例ρ_l(k_l·d_l)/(k_T·d_T)其中k_l是激活的路由专家数量d_l是路由专家中间大小可以直观看到压缩后的模型并非均匀缩小的教师模型。实际结果显示最终架构在许多层进行了激进修剪同时在选定的中间层和后期层保留了显著更多的路由容量。这种基于层敏感度的分配策略是保持模型性能的关键。3. 知识蒸馏与恢复阶段3.1 多层次蒸馏策略在Iterative Puzzle阶段和后续恢复阶段都应用了知识蒸馏。两个阶段的训练均在混合数据集上进行包含30%的预训练数据和70%来自Nemotron-3-Nano的监督微调数据。在Iterative Puzzle阶段每次压缩迭代后都进行KD步骤学生模型被训练以匹配原始Nemotron Super模型的logits。此蒸馏持续到观察到初始恢复为止序列长度为32K实现在中间压缩阶段的有效对齐。在恢复阶段将蒸馏扩展到更长上下文以进一步恢复模型性能。训练从128K序列长度开始随后扩展到512K token。与早期阶段一样使用Super模型的logits进行蒸馏。3.2 强化学习恢复在KD阶段之后应用强化学习后训练阶段旨在恢复对压缩特别敏感的能力。实证观察发现软件工程性能下降最为显著因此将RL工作重点放在恢复此能力上。采用Nemotron-3-Super RL管道的第2阶段来针对软件工程任务。此阶段分为两个阶段阶段2.1专注于单步工具使用比较每个提示生成16个rollout阶段2.2过渡到利用隔离环境的完整端到端沙盒RL代理最多可执行200轮。4. 量化与部署优化4.1 多精度量化方案应用训练后量化产生两个量化检查点针对Hopper级GPU的FP8 W8A8检查点和针对Blackwell级GPU的NVFP4 W4A4检查点。对于FP8检查点遵循Nemotron-3-Super-120B-A12B-FP8 PTQ配方。在校准过程中主要计算密集型算子被量化为FP8特别是MoE GEMM包括路由和共享专家和Mamba线性层。KV缓存量化为FP8以减少内存开销。对于NVFP4检查点采用类似方法但根据层类型决定量化级别。嵌入、注意力QKV/输出投影GEMM、MoE潜在投影GEMM、Mamba 1D卷积和LM头保持在BF16路由器保持在FP32。4.2 多令牌预测优化Puzzle-75B-A9B继承了通过多令牌预测头的原生推测解码支持。与训练多个独立头的标准MTP实现不同Puzzle-75B-A9B使用共享MTP头公式在训练期间跨MTP步骤共享参数产生单个预测头该头暴露于多个偏移量并可以在推理时递归应用。为提高MTP准确性继续训练转移的MTP头使用旨在使共享MTP头对训练-推理失配更鲁棒的训练方案。这一改进使平均接受长度相比Super提高了25%-30%。5. 性能评估与结果分析5.1 准确性基准测试在涵盖推理、编码、长上下文理解、多语言性、指令跟随和代理行为的多样化评估套件中Puzzle-75B-A9B尽管进行了大幅架构压缩和面向部署的优化仍保留了父模型的大部分能力。在推理和编码基准测试中Puzzle-75B-A9B与教师模型保持高度竞争力在HMMT、GPQA、LiveCodeBench、AIME25和SciCode上保持接近教师的性能。即使在激进的NVFP4量化下这些能力仍然稳健。在长上下文性能方面压缩模型在256K、512K和1M上下文长度的RULER评估中与父模型相差大致1-2分而NVFP4检查点紧密跟踪BF16性能。5.2 吞吐量提升分析在固定每秒100用户token的操作点下不带推测解码的Puzzle-75B-A9B实现了相比Super的2.18×吞吐量提升同时保持几乎相同的基准准确性70.74% vs. 71.93%。启用多令牌预测进一步将吞吐量提升至Super的4.85×。在交互式服务设置中Puzzle-75B-A9B在匹配用户吞吐量约束下实现了大致2×的吞吐量提升。在8×B200节点上对于50K/2K场景在UT≥100 token/s时达到1.60×提升对于8K/64K场景在UT≥125 token/s时达到2.14×提升。5.3 分离式预填充修剪研究还探索了预填充-解码分离是否启用额外的部署特定压缩轴。在这种设置下解码模型保持完整的Puzzle-75B-A9B检查点而使用较小的仅预填充模型处理提示并生成解码模型消耗的KV缓存和Mamba SSM状态。评估了两个预填充修剪变体它们减少预填充MoE top-k和模型的嵌入维度并联合训练预填充和解码模型以保持跨预填充-解码边界的状态兼容性。两个变体在保持大部分基准质量的同时将预填充密集的50K/1K服务吞吐量相比相同模型Puzzle-75B-A9B基线提高了5-7%。6. 实际部署考量6.1 硬件配置建议对于生产环境部署推荐以下硬件配置主要目标单8×B200节点 - NVFP4权重FP8 KV缓存带随机舍入的FP16 Mamba SSM状态。备选方案单8×H100节点 - FP8权重FP8 KV缓存FP32 Mamba SSM状态。长上下文场景单H100 GPU1M上下文目标 - NVFP4权重FP8 KV缓存FP32 Mamba SSM状态。6.2 服务配置优化在实际服务中需要根据不同的输入/输出token长度场景优化配置。建议使用帕累托优化方法在张量并行度TP∈{1,2,4,8}上扫描包括EP开启和EP关闭变体以及从1到该并行化策略内存中适合的最大批处理大小的批处理大小网格。对于每个配置计算(UT, TPS)平面上的帕累托边界在每个用户吞吐量水平下帕累托最优点是在该UT下最大化总吞吐量的配置。6.3 内存与计算平衡在内存受限的场景中如单GPU部署1M上下文NVFP4量化特别有益因为HBM容量是绑定约束。在这种情况下即使NVFP4在Hopper上不是原生支持由于其显著的内存节省优势仍然推荐使用。7. 技术影响与未来展望7.1 对行业的影响Nemotron-Labs-3-Puzzle-75B-A9B的成功压缩证明了大型混合MoE模型可以在保持强下游能力的同时大幅压缩显著提高部署效率。这一突破为在多样化推理环境中可扩展部署前沿规模LLM提供了实用路径。在实际业务场景中这意味着相同硬件基础设施下可以服务更多用户显著降低了大模型部署的总体拥有成本。对于需要实时响应的应用场景如智能客服、代码生成和内容创作吞吐量的提升直接转化为用户体验的改善。7.2 技术发展趋势Iterative Puzzle方法为模型压缩领域开辟了新方向。未来的工作可能包括更激进的使用Iterative Puzzle结合扩展当前修剪技术以实现极端LLM压缩 - 在保持强模型准确性的同时达到更高的压缩率。此外分离式预填充-解码架构的探索表明针对不同推理阶段的特点进行专门优化具有巨大潜力。这种异构压缩策略可能成为未来大模型部署的标准实践。7.3 开发者实践建议对于计划在生产环境中部署类似压缩模型的开发者建议采取以下实践首先充分理解自身业务场景的推理特点识别是预填充密集型还是解码密集型的 workload据此选择适当的压缩策略和硬件配置。其次建立完善的评估体系不仅关注常规基准测试性能还要针对特定业务场景设计定制化评估指标确保压缩后的模型在真实使用场景中保持可用性。最后考虑采用渐进式部署策略先在部分流量上验证压缩模型的表现逐步扩大部署范围确保服务稳定性和用户体验。这一技术突破标志着大模型部署进入了新的阶段从单纯追求模型规模转向更注重实际部署效率的平衡发展。随着压缩技术的不断成熟预计未来会有更多类似的高效模型出现进一步推动AI技术在各行业的广泛应用。