从零亲手量化用LLM Compressor复现Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2的AWQ量化全过程【免费下载链接】Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2大模型量化是让普通开发者用有限内存跑起大模型的关键技术而LLM Compressor正是当前最主流的量化工具箱之一。本文将带你从零开始用 LLM Compressor v0.10.0.2 亲手复现 AMD 发布的 Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2 模型完整走一遍AWQ 量化的全过程并教你如何一步步验证结果是否成功。全程无需高端显卡一台 CPU 机器就足够完成。 为什么要把 7B 模型量化成 W4A16很多新手第一次接触量化会觉得很神秘其实它就像给照片压缩体积尽量保留画质但文件更小、加载更快。原始版 Mistral-7B-Instruct-v0.3 以 bf16 精度存储时权重文件高达约 14.5GB内存小一点的机器根本跑不动。而经过 4-bit 权重量化W4A16后本项目的模型文件只有约 4GB体积直接减少约 70%这让 CPU 设备跑 7B 模型成为可能。对比项BF16 原始模型W4A16 量化模型权重精度16-bit4-bit激活保持 16-bit模型体积约 14.5GB约 4GB推理硬件通常需要 GPUAMD EPYC CPU 即可精度损失基准GSM8K 仍有约 48% 准确率所谓W4A16就是 Weight 4-bit、Activation 16-bit即权重量化、激活不量化属于典型的**仅权重量化Weight-Only Quantization**方案配合 AWQ 算法能最大程度保住模型能力非常适合 CPU 端部署。 认识目标模型Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2这个模型是 AMD 基于 Mistral-7B-Instruct-v0.3 量化而来核心参数一目了然项目详情模型架构MistralForCausalLM量化方法AWQ4-bit 非对称权重量化量化框架LLM Compressor v0.10.0.2compressed-tensors量化配置num_bits4group_size128symmetricfalse量化范围所有 Linear 层跳过 lm_head推理引擎vLLM v0.22.0 ZenDNN v6.0.0仓库里几个关键文件就是你的复现地图README.md官方给出的完整量化与部署说明本文操作均以此为准recipe.yamlAWQ 量化的配方文件记录了 SmoothQuant 平滑与权重平衡等细节config.json模型配置其中quantization_config记录了压缩格式与量化参数model.safetensors量化后的权重文件约 4GB⚙️ 复现前的环境准备安装 LLM Compressor 与依赖动手之前先把工具链装齐。推荐使用 Python 虚拟环境避免污染系统环境pip install \ torch2.11.0 \ zentorch2.11.0.1 \ vllm0.22.0 \ huggingface_hub \ lm-eval[vllm]0.4.12需要特别提醒ZenTorch v2.11.0.1 需要从源码自行编译这是 AMD CPU 推理链路的关键组件。装好后建议设置以下环境变量以获得最优性能export VLLM_USE_AOT_COMPILE0 export VLLM_WORKER_MULTIPROC_METHODspawn export ZENDNNL_MATMUL_ALGO1️ 用 LLM Compressor 复现 AWQ 量化完整操作步骤下面就是重头戏。整个复现流程可以拆成 5 步每一步 LLM Compressor 都帮你封装好了不需要手写底层算法。第 1 步加载原始模型与分词器先用 transformers 加载 bf16 精度的原始模型。如果你想对照官方产物也可以先把本项目仓库克隆下来参考其recipe.yaml与config.jsongit clone https://gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2接着加载模型from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( mistralai/Mistral-7B-Instruct-v0.3, device_mapcpu, dtypebfloat16, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained( mistralai/Mistral-7B-Instruct-v0.3, trust_remote_codeTrue )第 2 步准备校准数据集AWQ 量化不是拍脑袋压缩而是需要一小批数据来校准缩放因子。官方选用了 ultrachat_200k 数据集的128 条样本每条截断到 2048 token——数据量不大却足以让量化过程学会哪些权重更重要。from datasets import load_dataset calib load_dataset(HuggingFaceH4/ultrachat_200k, splittrain_sft[:128]) # 拼接消息、tokenize、统一截断到 2048第 3 步编写 AWQ 量化配方这是整个流程的灵魂。配方告诉 LLM Compressor怎么压、压哪些层关键就两行from llmcompressor.modifiers.awq import AWQModifier recipe [ AWQModifier( ignore[lm_head], # 输出层不量化保住精度 schemeW4A16_ASYM, # 4bit 非对称权重量化 targets[Linear], # 量化所有 Linear 层 ), ]对照仓库里的recipe.yaml你会发现官方配方还额外配置了 SmoothQuant 平滑、n_grid20网格搜索等细节用于进一步提升量化质量——这就是官方产物与随手一压的差距所在。第 4 步执行 oneshot 量化配方写好后只需调用 LLM Compressor 的oneshot接口一次到位完成量化from llmcompressor import oneshot oneshot( modelmodel, datasetcalib, reciperecipe, max_seq_length2048, processortokenizer, )这个过程中 LLM Compressor 会自动完成激活值观测、缩放因子计算与权重重排你只需要等待即可。第 5 步保存压缩模型量化完成后用save_compressedTrue保存为 compressed-tensors 格式这才是能被 vLLM 等引擎直接读取的产物model.save_pretrained(./Mistral-7B-Instruct-v0.3-w4a16, save_compressedTrue) tokenizer.save_pretrained(./Mistral-7B-Instruct-v0.3-w4a16)到这一步你就用 LLM Compressor 亲手复现了一个 W4A16 量化模型 ✅ 验证量化结果从配置文件到推理测试量化做完了怎么确认没翻车三步走1. 检查配置。打开产物目录下的config.json你会看到quantization_config里明确写着quant_method: compressed-tensors、num_bits: 4、group_size: 128、symmetric: false与官方产物完全一致说明量化参数生效了。2. 检查体积。model.safetensors应从原始的 14.5GB 缩水到约 4GB内存压力骤减。3. 跑一次评估。官方用 lm-evaluation-harness 在 GSM8K5-shot上测得的准确率为0.4829你可以用同样命令对比自己的产物lm_eval --model vllm \ --model_args pretrained./Mistral-7B-Instruct-v0.3-w4a16,dtypebfloat16 \ --tasks gsm8k --num_fewshot 5 --apply_chat_template 复现过程中常见的坑与避坑建议新手复现最容易踩这几个坑提前知道能省下大量排查时间版本必须锁定本项目依赖 ZenDNN v6.0.0、PyTorch v2.11.0 这一整条链路版本不匹配可能导致模型加载失败务必按官方要求安装。仅支持 CPU 推理该量化方案是针对 AMD EPYC CPU ZenDNN 路径优化的不要拿到 GPU 上跑否则可能无法正常推理。性能调优别忘了 LD_PRELOAD推理前预先加载 tcmalloc 与 OpenMP 运行库可以显著提升吞吐官方 README 有详细说明。校准数据别乱换校准集的质量直接影响量化后精度想获得接近官方 0.4829 的 GSM8K 成绩建议沿用 ultrachat_200k 的 128 条样本。 总结通过本文你已经用 LLM Compressor v0.10.0.2 完整复现了 Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2 的 AWQ 量化全过程加载模型 → 准备校准数据 → 编写 AWQ 配方 → oneshot 量化 → 保存与验证。整个过程只有几十行代码却能把 14.5GB 的模型压到 4GB 并在 CPU 上高效运行。如果你想跳过复现直接部署也可以直接拉取官方量化好的模型文件内含recipe.yaml、config.json等全套资料开箱即用。量化没有想象中那么难动手试一次你就真正理解 W4A16 与 AWQ 了。【免费下载链接】Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 从零亲手量化：用LLM Compressor复现Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2的AWQ量化全过程
从零亲手量化用LLM Compressor复现Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2的AWQ量化全过程【免费下载链接】Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2大模型量化是让普通开发者用有限内存跑起大模型的关键技术而LLM Compressor正是当前最主流的量化工具箱之一。本文将带你从零开始用 LLM Compressor v0.10.0.2 亲手复现 AMD 发布的 Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2 模型完整走一遍AWQ 量化的全过程并教你如何一步步验证结果是否成功。全程无需高端显卡一台 CPU 机器就足够完成。 为什么要把 7B 模型量化成 W4A16很多新手第一次接触量化会觉得很神秘其实它就像给照片压缩体积尽量保留画质但文件更小、加载更快。原始版 Mistral-7B-Instruct-v0.3 以 bf16 精度存储时权重文件高达约 14.5GB内存小一点的机器根本跑不动。而经过 4-bit 权重量化W4A16后本项目的模型文件只有约 4GB体积直接减少约 70%这让 CPU 设备跑 7B 模型成为可能。对比项BF16 原始模型W4A16 量化模型权重精度16-bit4-bit激活保持 16-bit模型体积约 14.5GB约 4GB推理硬件通常需要 GPUAMD EPYC CPU 即可精度损失基准GSM8K 仍有约 48% 准确率所谓W4A16就是 Weight 4-bit、Activation 16-bit即权重量化、激活不量化属于典型的**仅权重量化Weight-Only Quantization**方案配合 AWQ 算法能最大程度保住模型能力非常适合 CPU 端部署。 认识目标模型Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2这个模型是 AMD 基于 Mistral-7B-Instruct-v0.3 量化而来核心参数一目了然项目详情模型架构MistralForCausalLM量化方法AWQ4-bit 非对称权重量化量化框架LLM Compressor v0.10.0.2compressed-tensors量化配置num_bits4group_size128symmetricfalse量化范围所有 Linear 层跳过 lm_head推理引擎vLLM v0.22.0 ZenDNN v6.0.0仓库里几个关键文件就是你的复现地图README.md官方给出的完整量化与部署说明本文操作均以此为准recipe.yamlAWQ 量化的配方文件记录了 SmoothQuant 平滑与权重平衡等细节config.json模型配置其中quantization_config记录了压缩格式与量化参数model.safetensors量化后的权重文件约 4GB⚙️ 复现前的环境准备安装 LLM Compressor 与依赖动手之前先把工具链装齐。推荐使用 Python 虚拟环境避免污染系统环境pip install \ torch2.11.0 \ zentorch2.11.0.1 \ vllm0.22.0 \ huggingface_hub \ lm-eval[vllm]0.4.12需要特别提醒ZenTorch v2.11.0.1 需要从源码自行编译这是 AMD CPU 推理链路的关键组件。装好后建议设置以下环境变量以获得最优性能export VLLM_USE_AOT_COMPILE0 export VLLM_WORKER_MULTIPROC_METHODspawn export ZENDNNL_MATMUL_ALGO1️ 用 LLM Compressor 复现 AWQ 量化完整操作步骤下面就是重头戏。整个复现流程可以拆成 5 步每一步 LLM Compressor 都帮你封装好了不需要手写底层算法。第 1 步加载原始模型与分词器先用 transformers 加载 bf16 精度的原始模型。如果你想对照官方产物也可以先把本项目仓库克隆下来参考其recipe.yaml与config.jsongit clone https://gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2接着加载模型from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( mistralai/Mistral-7B-Instruct-v0.3, device_mapcpu, dtypebfloat16, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained( mistralai/Mistral-7B-Instruct-v0.3, trust_remote_codeTrue )第 2 步准备校准数据集AWQ 量化不是拍脑袋压缩而是需要一小批数据来校准缩放因子。官方选用了 ultrachat_200k 数据集的128 条样本每条截断到 2048 token——数据量不大却足以让量化过程学会哪些权重更重要。from datasets import load_dataset calib load_dataset(HuggingFaceH4/ultrachat_200k, splittrain_sft[:128]) # 拼接消息、tokenize、统一截断到 2048第 3 步编写 AWQ 量化配方这是整个流程的灵魂。配方告诉 LLM Compressor怎么压、压哪些层关键就两行from llmcompressor.modifiers.awq import AWQModifier recipe [ AWQModifier( ignore[lm_head], # 输出层不量化保住精度 schemeW4A16_ASYM, # 4bit 非对称权重量化 targets[Linear], # 量化所有 Linear 层 ), ]对照仓库里的recipe.yaml你会发现官方配方还额外配置了 SmoothQuant 平滑、n_grid20网格搜索等细节用于进一步提升量化质量——这就是官方产物与随手一压的差距所在。第 4 步执行 oneshot 量化配方写好后只需调用 LLM Compressor 的oneshot接口一次到位完成量化from llmcompressor import oneshot oneshot( modelmodel, datasetcalib, reciperecipe, max_seq_length2048, processortokenizer, )这个过程中 LLM Compressor 会自动完成激活值观测、缩放因子计算与权重重排你只需要等待即可。第 5 步保存压缩模型量化完成后用save_compressedTrue保存为 compressed-tensors 格式这才是能被 vLLM 等引擎直接读取的产物model.save_pretrained(./Mistral-7B-Instruct-v0.3-w4a16, save_compressedTrue) tokenizer.save_pretrained(./Mistral-7B-Instruct-v0.3-w4a16)到这一步你就用 LLM Compressor 亲手复现了一个 W4A16 量化模型 ✅ 验证量化结果从配置文件到推理测试量化做完了怎么确认没翻车三步走1. 检查配置。打开产物目录下的config.json你会看到quantization_config里明确写着quant_method: compressed-tensors、num_bits: 4、group_size: 128、symmetric: false与官方产物完全一致说明量化参数生效了。2. 检查体积。model.safetensors应从原始的 14.5GB 缩水到约 4GB内存压力骤减。3. 跑一次评估。官方用 lm-evaluation-harness 在 GSM8K5-shot上测得的准确率为0.4829你可以用同样命令对比自己的产物lm_eval --model vllm \ --model_args pretrained./Mistral-7B-Instruct-v0.3-w4a16,dtypebfloat16 \ --tasks gsm8k --num_fewshot 5 --apply_chat_template 复现过程中常见的坑与避坑建议新手复现最容易踩这几个坑提前知道能省下大量排查时间版本必须锁定本项目依赖 ZenDNN v6.0.0、PyTorch v2.11.0 这一整条链路版本不匹配可能导致模型加载失败务必按官方要求安装。仅支持 CPU 推理该量化方案是针对 AMD EPYC CPU ZenDNN 路径优化的不要拿到 GPU 上跑否则可能无法正常推理。性能调优别忘了 LD_PRELOAD推理前预先加载 tcmalloc 与 OpenMP 运行库可以显著提升吞吐官方 README 有详细说明。校准数据别乱换校准集的质量直接影响量化后精度想获得接近官方 0.4829 的 GSM8K 成绩建议沿用 ultrachat_200k 的 128 条样本。 总结通过本文你已经用 LLM Compressor v0.10.0.2 完整复现了 Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2 的 AWQ 量化全过程加载模型 → 准备校准数据 → 编写 AWQ 配方 → oneshot 量化 → 保存与验证。整个过程只有几十行代码却能把 14.5GB 的模型压到 4GB 并在 CPU 上高效运行。如果你想跳过复现直接部署也可以直接拉取官方量化好的模型文件内含recipe.yaml、config.json等全套资料开箱即用。量化没有想象中那么难动手试一次你就真正理解 W4A16 与 AWQ 了。【免费下载链接】Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.3-w4a16-llmcompressor-v0.10.0.2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考