AMD-Quark量化工具实战从FP8到MXFP4的模型优化完整流程【免费下载链接】DeepSeek-R1-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-MXFP4AMD-Quark量化工具是一款专为AMD硬件优化的模型量化解决方案能够将深度学习模型从FP8格式高效转换为MXFP4格式在保持模型性能的同时显著降低显存占用和计算资源需求。本指南将带你完成从环境准备到模型部署的完整MXFP4量化流程让你轻松掌握这一强大工具的使用方法。准备工作环境配置与依赖安装在开始量化之前需要确保你的系统满足以下要求硬件要求AMD MI350/MI355显卡软件环境ROCm 7.0PyTorch 2.8.0Transformers 4.53.0Linux操作系统你可以通过以下命令克隆项目仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-MXFP4模型准备从FP8到BF16的转换MXFP4量化需要基于BF16格式的模型进行因此需要先将原始的FP8模型转换为BF16格式。有两种方法可供选择手动转换使用DeepSeek提供的转换脚本python3 fp8_cast_bf16.py --input_model deepseek-ai/DeepSeek-R1 --output_model ./DeepSeek-R1-BF16直接使用预转换模型访问unsloth/DeepSeek-R1-BF16获取预转换的BF16模型核心步骤使用AMD-Quark进行MXFP4量化量化参数配置AMD-Quark提供了灵活的量化参数配置你可以在config.json文件中调整以下关键参数quantization_config.global_quant_config.weight.dtype: 设置为fp4启用MXFP4量化quantization_config.global_quant_config.weight.group_size: 量化分组大小默认为32quantization_config.global_quant_config.input_tensors.is_dynamic: 设置为true启用动态激活量化执行量化脚本使用以下命令执行MXFP4量化cd Quark/examples/torch/language_modeling/llm_ptq/ python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme w_mxfp4_a_mxfp4 \ --group_size 32 \ --num_calib_data 128 \ --exclude_layers lm_head \ --skip_evaluation \ --multi_device \ --model_export hf_format \ --output_dir amd/DeepSeek-R1-MXFP4参数说明--quant_scheme w_mxfp4_a_mxfp4: 权重和激活都使用MXFP4量化--group_size 32: 每32个权重值为一组进行量化--num_calib_data 128: 使用128个校准数据样本--multi_device: 启用多设备量化加速模型评估MXFP4量化效果验证量化后的模型性能可以通过以下方法进行评估准确性评估使用lm-evaluation-harness框架评估量化模型的性能# 启动SGLang服务 python3 -m sglang.launch_server \ --model amd/DeepSeek-R1-MXFP4 \ --tp 8 \ --trust-remote-code \ --attention-backend aiter # 评估GSM8K数据集 lm_eval --model local-completions \ --model_args modelamd/DeepSeek-R1-MXFP4,base_urlhttp://localhost:30000/v1/completions,num_concurrent999999,timeout999999,tokenized_requestsFalse,max_length8096 \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto \ --log_samples \ --output_path output_data/gsm8k 21 | tee logs/gsm8k.log量化效果对比MXFP4量化后的模型与原始模型相比在主要 benchmark 上保持了较高的性能恢复率基准测试DeepSeek-R1 (原始)DeepSeek-R1-MXFP4 (量化后)性能恢复率AIME2478.069.5789.19%GSM8K95.8193.9598.05%部署指南使用SGLang高效运行MXFP4模型量化后的模型可以通过SGLang后端高效部署python3 -m sglang.launch_server \ --model amd/DeepSeek-R1-MXFP4 \ --tp 8 \ --trust-remote-code \ --attention-backend aiter部署后你可以通过HTTP API与模型进行交互享受MXFP4量化带来的高效推理体验。总结MXFP4量化的优势与最佳实践通过AMD-Quark工具将模型量化为MXFP4格式可以在保持高性能的同时显著降低显存占用特别适合在AMD MI350/MI355等硬件上部署大型语言模型。以下是一些最佳实践建议始终使用足够的校准数据建议至少128个样本以确保量化精度对于不同类型的模型尝试调整group_size参数以获得最佳性能在量化前进行模型性能基线测试以便准确评估量化效果使用SGLang推理引擎以获得最佳部署性能通过本指南你已经掌握了使用AMD-Quark工具进行MXFP4量化的完整流程。现在你可以尝试将这一技术应用到自己的模型优化工作中体验高效推理带来的便利【免费下载链接】DeepSeek-R1-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考