AMD-Quark量化工具实战一键将Qwen3.5模型压缩至MXFP4格式的完整脚本【免费下载链接】Qwen3.5-35B-A3B-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-35B-A3B-MXFP4想要在AMD硬件上高效运行大型语言模型吗 AMD-Quark量化工具提供了终极解决方案本文将为你详细介绍如何快速将Qwen3.5-35B-A3B模型压缩至MXFP4格式实现模型大小的显著减小和推理速度的极大提升。什么是AMD-Quark量化工具AMD-Quark是AMD推出的先进模型量化工具专门针对AMD硬件进行优化。它支持多种量化方案包括MXFP4混合精度浮点4位格式能够在保持模型精度的同时大幅减少模型存储空间和内存占用。对于Qwen3.5-35B-A3B这样的350亿参数大模型量化到MXFP4格式意味着什么意味着模型大小减少约75%推理速度提升2-3倍同时还能在AMD MI300/MI350/MI355等硬件上获得最佳性能表现准备工作与环境配置 ️在开始量化之前你需要准备以下环境硬件要求AMD MI300、MI350或MI355系列GPU软件依赖ROCm 7.0.0或更高版本PyTorch 2.9.1Transformers 5.3.0AMD-Quark v0.12模型来源原始FP8格式的Qwen3.5-35B-A3B模型一键量化脚本详解 以下是完整的量化脚本让我们逐行解析# 进入AMD-Quark量化目录 cd Quark/examples/torch/language_modeling/llm_ptq/ # 设置需要排除的层保持某些层不量化以维持精度 export exclude_layerslm_head model.visual.* mtp.* *mlp.gate *shared_expert_gate* *.linear_attn.* *.self_attn.* *.shared_expert.* # 执行量化命令 python3 quantize_quark.py --model_dir Qwen/Qwen3.5-35B-A3B-FP8 \ --quant_scheme mxfp4 \ --file2file_quantization \ --exclude_layers $exclude_layers \ --output_dir amd/Qwen3.5-35B-A3B-MXFP4关键参数解析 --quant_scheme mxfp4指定使用MXFP4量化方案--file2file_quantization启用文件到文件的量化模式--exclude_layers排除特定层不进行量化这对于保持模型关键部分的精度至关重要--output_dir指定输出目录量化后的模型将保存在这里量化效果与性能对比 经过AMD-Quark量化后Qwen3.5-35B-A3B-MXFP4模型在多个方面都有显著提升存储空间优化原始FP8模型约70GBMXFP4量化后约17.5GB空间节省75%推理性能提升在AMD MI300系列GPU上推理速度提升2-3倍内存占用大幅降低支持更大batch size精度保持效果基准测试原始FP8模型MXFP4量化模型精度恢复率GSM8K (灵活提取)89.3993.25104.32%令人惊喜的是在某些任务上量化后的模型甚至表现更好这得益于AMD-Quark智能的量化策略和层排除机制。量化后模型的使用方法 量化完成后你可以通过以下方式使用模型使用vLLM框架推理lm_eval \ --model vllm \ --model_args pretrainedamd/Qwen3.5-35B-A3B-MXFP4,tensor_parallel_size4,max_model_len262144,gpu_memory_utilization0.90,max_gen_toks2048,trust_remote_codeTrue,reasoning_parserqwen3 \ --tasks gsm8k --num_fewshot 5 \ --batch_size auto模型配置文件说明量化后的模型包含完整的配置文件config.json模型架构和参数配置generation_config.json生成参数设置tokenizer_config.json分词器配置常见问题与解决方案 ❓Q1量化过程中遇到内存不足怎么办解决方案减小batch size或者使用更小的量化粒度。AMD-Quark支持渐进式量化可以先量化部分层。Q2量化后模型精度下降明显解决方案调整exclude_layers参数将更多敏感层排除在量化之外。可以参考configuration.json中的层结构进行精细调整。Q3如何在其他AMD硬件上使用解决方案确保ROCm版本与硬件兼容并参考AMD官方文档进行环境配置。最佳实践与技巧 分层量化策略对于MoE混合专家模型建议对专家层和路由层采用不同的量化策略精度监控在量化过程中实时监控关键指标的精度变化渐进式量化先量化部分层验证效果后再继续模型验证量化完成后务必在验证集上测试模型性能量化工具的高级功能 AMD-Quark还提供了更多高级功能混合精度量化不同层使用不同的量化精度校准数据集支持使用特定数据集进行量化校准量化感知训练在训练过程中考虑量化影响硬件感知优化针对特定AMD硬件进行优化总结与展望 通过AMD-Quark量化工具我们可以轻松将Qwen3.5-35B-A3B模型压缩到MXFP4格式在保持甚至提升模型性能的同时大幅减少存储需求和提升推理速度。这对于在AMD硬件上部署大型语言模型具有重要意义。随着AMD硬件生态的不断完善和量化技术的持续发展我们期待看到更多优化工具和方案的推出让大型语言模型在边缘设备和资源受限环境中也能高效运行。立即尝试AMD-Quark量化工具释放你的Qwen3.5模型在AMD硬件上的全部潜力⚡提示量化过程中请确保有足够的磁盘空间和内存资源建议在性能较强的服务器上进行操作。【免费下载链接】Qwen3.5-35B-A3B-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-35B-A3B-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考