NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4压缩技术揭秘Iterative Puzzle框架解析【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4是一款由NVIDIA开发的部署优化型大型语言模型基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用创新的Iterative Puzzle后训练压缩框架在保持强大下游任务准确性的同时显著提升了交互式、推理密集型和长上下文工作负载的推理效率。 Iterative Puzzle框架压缩技术的核心创新Iterative Puzzle框架是NVIDIA专为大型语言模型设计的多阶段压缩解决方案其核心在于通过压缩-恢复循环实现模型效率与性能的平衡。该框架结合了知识蒸馏、强化学习、量化技术和Multi-Token PredictionMTP头形成了一套完整的模型优化流水线。 三阶段压缩与恢复流程Puzzle-75B-A9B的构建始于Nemotron-3-Super通过三个连续的压缩-恢复阶段实现高效压缩选择性剪枝阶段针对不同层进行非均匀剪枝路由专家中间维度从2688缩减至1280-2688的层依赖范围在敏感层保留更多容量在其他层则进行更激进的剪枝知识蒸馏恢复使用混合数据集30%预训练数据70%监督微调数据进行知识蒸馏以Nemotron-3-Super-120B-A12B-BF16作为教师模型恢复压缩过程中损失的质量强化学习优化专注于恢复软件工程和智能体能力这些能力对压缩特别敏感️ 关键压缩技术解析Iterative Puzzle框架整合了多种先进压缩技术共同优化模型性能 异构MoE剪枝该模型对混合专家MoE结构进行了针对性优化通过联合优化异构MoE剪枝、活动参数预算和Mamba剪枝在提高推理效率的同时保持模型质量。值得注意的是注意力层未做修改因为父模型已具备高效的KV缓存机制。 后训练量化压缩后的模型 checkpoint 进一步通过后训练量化技术优化部署FP8 checkpoint 针对Hopper架构GPUNVFP4 checkpoint 针对Blackwell架构GPU这种量化策略确保模型在不同硬件平台上都能发挥最佳性能同时显著减少内存占用和计算资源需求。 多令牌预测MTP模型还采用持续的MTP训练以提高推测解码的接受长度并增加服务吞吐量。这项技术特别有助于提升长上下文场景下的生成效率使模型在处理复杂任务时表现更出色。 长上下文能力恢复为应对压缩可能导致的长上下文理解能力下降Puzzle-75B-A9B特别设计了长上下文恢复阶段。该阶段使用128Ki和512Ki序列长度的专用数据在压缩后恢复模型的长上下文处理能力确保模型在处理超长文本时仍能保持良好性能。 深入了解与资源要了解完整的训练和压缩细节请参阅技术报告Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs。模型的配置和实现细节可在以下文件中找到配置文件configuration_nemotron_h_puzzle.py模型实现modeling_nemotron_h_puzzle.py 开始使用要开始使用NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4模型请先克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4通过Iterative Puzzle框架的创新压缩技术NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4为大型语言模型的高效部署开辟了新途径在保持高性能的同时显著提升了推理效率特别适合交互式、推理密集型和长上下文应用场景。【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考