DeepSeek-R1-0528-MXFP4-v2震撼发布AMD MI350平台上的终极MXFP4量化LLM方案【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2DeepSeek-R1-0528-MXFP4-v2是基于DeepSeek-R1-0528模型通过AMD-Quark工具进行MXFP4量化优化的先进大语言模型方案专为AMD MI350/MI355平台打造实现了高性能与高效率的完美平衡。该模型采用创新的OCP MXFP4量化技术在保持卓越推理精度的同时显著提升了AMD硬件平台上的运行效率。 核心技术亮点 突破性MXFP4量化技术该模型采用静态权重量化与动态激活量化相结合的MXFP4量化方案通过AMD-Quark V0.10优化工具实现权重量化OCP MXFP4格式静态量化激活量化OCP MXFP4格式动态量化量化分组大小32校准数据集Pile验证集 专为AMD架构优化深度适配AMD MI350/MI355硬件平台配合ROCm 7.0软件栈实现最佳性能支持SGLang和vLLM推理引擎优化的PyTorch 2.8.0和Transformers 4.53.0适配Linux操作系统环境 性能表现与评估 基准测试结果在AIME24和GSM8K基准测试中该模型展现了卓越的推理能力基准测试DeepSeek-R1-0528-MXFP4-v2 (非MTP)DeepSeek-R1-0528-MXFP4-v2 (MTP3)AIME2480.00%83.33%GSM8K95.00%95.30%评估使用lm-evaluation-harness框架进行MTPMulti-Task Prompting技术进一步提升了复杂推理任务的性能⚡ 高效部署能力通过SGLang服务部署可实现高并发推理支持8路张量并行最大并发请求数64预填充块大小131072内存静态分配比例0.8 快速开始指南 模型准备# 克隆仓库 git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2 cd DeepSeek-R1-0528-MXFP4-v2 启动SGLang服务#!/bin/bash MODEL/models/amd/DeepSeek-R1-0528-MXFP4-v2 LOGsglang-serving.log SGLANG_AITER_MLA_PERSIST1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aiter 21 | tee $LOG 运行评估示例# AIME24评估 lm_eval --model local-completions \ --model_args model/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent999999,timeout999999,tokenized_requestsFalse,max_length32000,temperature0.6,top_p0.95 \ --tasks aime24 \ --num_fewshot 0 \ --gen_kwargs do_sampleTrue,temperature0.6,top_p0.95,max_tokens32000 \ --batch_size auto 21 | tee aime24.log # GSM8K评估 lm_eval --model local-completions \ --model_args model/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent256,max_retries10,max_gen_toks2048,tokenized_requestsFalse \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto 21 | tee gsm8k.log 技术架构解析 模型配置该模型基于DeepseekV3架构关键参数包括隐藏层维度7168注意力头数128隐藏层数量61中间层维度18432MoE中间层维度2048路由专家数量256每token专家数8最大序列长度4096详细配置可参考configuration_deepseek.py文件。 量化流程模型量化需先将原始FP8模型转换为BFloat16格式可使用预转换模型amd/DeepSeek-R1-0528-BF16或转换脚本# 量化脚本示例 cd Quark/examples/torch/language_modeling/llm_ptq/ exclude_layers*lm_head model.layers.61.* python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme w_mxfp4_a_mxfp4 \ --group_size 32 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --skip_evaluation \ --multi_gpu \ --model_export hf_format \ --output_dir amd/DeepSeek-R1-0528-MXFP4-v2 许可证信息修改部分Copyright(c) 2025 Advanced Micro Devices, Inc. 保留所有权利。 基础模型基于MIT许可证发布。 相关资源模型架构代码modeling_deepseek.py配置文件config.json量化工具AMD-Quark推理引擎SGLang/vLLM【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考