Step-3.5-Flash-MXFP4的Docker容器部署：ROCM 7.1.0环境搭建指南

Step-3.5-Flash-MXFP4的Docker容器部署ROCM 7.1.0环境搭建指南【免费下载链接】Step-3.5-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4Step-3.5-Flash-MXFP4是基于AMD ROCM 7.1.0环境优化的AI模型采用MXFP4量化技术实现高效推理。本文将详细介绍如何通过Docker容器快速部署该模型让新手用户也能轻松搭建高性能AI推理环境。 环境准备核心依赖要求操作系统Linux推荐Ubuntu 22.04Docker支持ROCM的容器运行时硬件AMD MI350/MI355显卡基础镜像rocm/vllm-devsha256:63f1fe04d87376bb173a1e837fba8610ab2dd77039fe7c9b97195f2a89d4d463软件版本匹配组件版本要求ROCm7.1.0PyTorch2.10.0Transformers4.57.6vLLM特定commit版本 快速部署步骤1. 克隆项目仓库git clone https://gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4 cd Step-3.5-Flash-MXFP42. 启动ROCM容器docker run -it --rm \ --device/dev/kfd \ --device/dev/dri \ --group-add video \ --ipchost \ --cap-addSYS_PTRACE \ --security-opt seccompunconfined \ -v $PWD:/workspace \ rocm/vllm-devsha256:63f1fe04d87376bb173a1e837fba8610ab2dd77039fe7c9b97195f2a89d4d463 \ /bin/bash3. 配置vLLM环境在容器内执行以下命令# 卸载现有vLLM pip uninstall vllm -y # 安装特定版本vLLM git clone https://github.com/vllm-project/vllm.git cd vllm git checkout de7dd634b969adc6e5f50cff0cc09c1be1711d01 pip install -r requirements/rocm.txt python setup.py develop cd .. # 设置环境变量 export QUARK_MXFP4_IMPLtriton 模型部署配置应用必要补丁修改Step3p5模型定义编辑vllm/model_executor/models/step3p5.py添加以下内容到Step3p5ForCausalLM类class Step3p5ForCausalLM(nn.Module, SupportsPP, MixtureOfExperts): hf_to_vllm_mapper WeightsMapper( orig_to_new_substr{.share_expert.: .moe.share_expert.} ) packed_modules_mapping { qkv_proj: [ q_proj, k_proj, v_proj, ], gate_up_proj: [ gate_proj, up_proj, ], }修复MoE专家命名在同一文件的load_weights函数中添加 # Normalize legacy MoE expert naming if .moe.experts. not in local_name and .moe. in local_name: parts local_name.split(.moe., 1) if len(parts) 2 and . in parts[1]: expert_and_rest parts[1] expert_id, remainder expert_and_rest.split(., 1) if expert_id.isdigit(): local_name f{parts[0]}.moe.experts.{expert_id}.{remainder}启用MXFP4模拟修改vllm/model_executor/layers/quantization/quark/quark_moe.py- self.emulate ( - not current_platform.supports_mx() - or not self.ocp_mx_scheme.startswith(w_mxfp4) - ) and (self.mxfp4_backend is None or not self.use_rocm_aiter_moe) self.emulate True执行模型量化使用项目提供的量化脚本python3 step3p5_quantize_quark.py --model_dir ./ \ --num_calib_data 128 \ --multi_gpu \ --trust_remote_code \ --preset mxfp4_moe_only_no_kvcache \ --output_dir ./quantized_model✅ 验证部署效果运行推理测试python -m vllm.entrypoints.api_server \ --model ./quantized_model \ --quantization quark \ --trust_remote_code \ --port 8000性能评估使用lm_eval工具验证模型准确性lm_eval --model vllm \ --model_args pretrained./quantized_model,attention_backendROCM_AITER_UNIFIED_ATTN,quantizationquark,trust_remote_codeTrue \ --tasks gsm8k \ --batch_size auto 部署效果对比模型版本GSM8K准确率性能恢复率原始bf16版本0.8939100%MXFP4量化版本0.872697.6%⚠️ 常见问题解决内存访问错误确保已设置环境变量export QUARK_MXFP4_IMPLtriton容器启动失败检查Docker是否支持ROCMdocker run --rm rocm/vllm-devsha256:63f1fe04d87376bb173a1e837fba8610ab2dd77039fe7c9b97195f2a89d4d463 rocminfo量化脚本报错确认已安装所有依赖pip install -r requirements.txt 参考资料模型量化工具AMD-Quark推理引擎vLLM量化脚本step3p5_quantize_quark.py配置文件configuration_step3p5.py【免费下载链接】Step-3.5-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Step-3.5-Flash-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考