Gemma-4-26B-A4B-it-qat-OptiQ-4bit终极混合精度量化大模型在Apple Silicon上实现高效推理【免费下载链接】gemma-4-26B-A4B-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bitGemma-4-26B-A4B-it-qat-OptiQ-4bit是一款基于Google Gemma-4架构的混合精度量化大模型专为Apple Silicon设备优化通过OptiQ技术实现了4bit和8bit混合精度的高效推理。该模型在保持高性能的同时显著降低了计算资源需求使普通用户也能在本地设备上体验强大的AI能力。什么是混合精度量化技术混合精度量化是一种先进的模型压缩技术它根据神经网络不同层的敏感度自动分配不同的精度4bit或8bit。这种智能分配策略在减少模型体积和计算量的同时最大限度地保留了模型的推理能力。该模型采用了OptiQ的敏感度引导每一层位分配技术在已经过量化感知训练QAT的Gemma-4基础上进一步优化。通过对 prose、推理、代码、代理、工具调用和约束指令六个领域的校准混合数据进行KL散度敏感度分析确定了哪些层需要更高精度8bit哪些可以使用更低精度4bit。模型架构与量化细节Gemma-4-26B-A4B-it-qat-OptiQ-4bit是一个稀疏MoE混合专家模型总共有260亿参数包含128个路由专家每个token约激活40亿参数。这种架构使模型能够在不同任务上灵活分配计算资源提高效率和性能。属性数值基础模型google/gemma-4-26B-A4B-it-qat-q4_0-unquantized (QAT, MoE)架构gemma4 · 128专家每个token约40亿激活参数主要精度4bit8bit组件敏感部分2754bit组件稳健部分50量化组件总数3258bit专家张量42 / 90实现的每权重位数6.01组大小64校准混合数据六领域混合量化过程中敏感度分析识别出路由专家是精度最重要的部分因此将需要高精度的42个专家张量共90个以及敏感的注意力和路由器层分配为8bit而稳健的部分保持在4bit。这种策略确保了关键组件的性能同时最大化了整体压缩率。性能表现Capability Score该模型在六项关键指标上进行了评估与相同QAT基础的均匀4bit量化模型相比混合精度分配带来了显著提升基准测试均匀4bitQAT基础本模型OptiQ, QAT基础差异MMLU5-shot, 100064.3%65.9%1.6GSM8K100089.2%90.3%1.1IFEvalfull, strict73.6%74.1%0.5BFCL-V3 simple20074.5%73.5%-1.0HumanEvalpass1, 16490.2%89.0%-1.2HashHop长上下文35.0%35.0%0.0Capability Score平均值71.1371.320.19性能提升主要集中在推理密集型基准测试MMLU 1.6GSM8K 1.1IFEval 0.5这正是路由专家承载最多信号的地方。混合量化模型的每权重位数为6.01磁盘上约19 GB而均匀4bit量化模型为4.0约14.5 GB以较小的存储成本换取了显著的性能提升。快速开始在Apple Silicon上安装与使用环境准备Gemma-4-26B-A4B-it-qat-OptiQ-4bit需要mlx-lm的main分支和import optiqMoE文本塔不在0.31.3 PyPI版本中main构建也报告为0.31.3因此请从git安装不要固定版本pip install -U mlx-optiq mlx-lm githttps://github.com/ml-explore/mlx-lm.git基本文本生成import optiq # 注册OptiQ模型路径 from mlx_lm import load, generate model, tokenizer load(mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit) print(generate(model, tokenizer, Explain mixed-precision quantization., max_tokens256))图像文本输入与推理加速通过mlx-optiq可以实现图像文本输入和推测性草稿生成pip install mlx-optiq optiq serve --model mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit \ --drafter google/gemma-4-26B-A4B-it-qat-q4_0-unquantized-assistant语言和图像文本路径都通过optiq运行。bf16视觉塔存储在optiq_vision.safetensors中mlx-lm会忽略此文件它会匹配model*.safetensors因此两种路径都可以从一个模型文件中工作。高级配置与优化模型的量化配置存储在config.json中其中详细定义了每一层的量化参数。例如注意力层和路由层使用8bit量化language_model.model.layers.0.self_attn.q_proj: { bits: 8, group_size: 64 }, language_model.model.layers.0.router.proj: { bits: 8, group_size: 64 }而一些专家层则使用4bit量化language_model.model.layers.13.experts.switch_glu.gate_proj: { bits: 4, group_size: 64 }量化元数据存储在optiq_metadata.json中包含了量化方法、目标每权重位数、实际每权重位数等关键信息{ method: optiq_mixed_precision, base_model: google/gemma-4-26B-A4B-it-qat-q4_0-unquantized, reference: uniform_4bit, target_bpw: 6.0, achieved_bpw: 6.007151791626812, n_high_bits: 275, n_low_bits: 50 }总结为何选择Gemma-4-26B-A4B-it-qat-OptiQ-4bitGemma-4-26B-A4B-it-qat-OptiQ-4bit为Apple Silicon用户提供了一个理想的本地大模型解决方案高效性能通过混合精度量化在保持高性能的同时降低计算资源需求Apple Silicon优化专为Apple芯片设计充分利用硬件加速能力多模态支持通过optiq_vision.safetensors支持图像文本输入灵活部署既可通过Python API集成也可通过optiq serve快速部署服务持续优化基于量化感知训练(QAT)基础进一步通过OptiQ技术优化无论是研究人员、开发者还是AI爱好者都能通过这款模型在自己的Apple设备上体验到强大的AI能力而无需依赖云端服务。要开始使用请克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit然后按照上述安装指南进行配置即可在本地享受高效的大模型推理体验 【免费下载链接】gemma-4-26B-A4B-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考