Gemma-4-26B-A4B-it-qat-OptiQ-4bit基准测试MMLU、GSM8K等6大指标全面评测【免费下载链接】gemma-4-26B-A4B-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bitGemma-4-26B-A4B-it-qat-OptiQ-4bit是基于Google量化感知训练QATGemma-4基础模型构建的4位混合精度MLX量化模型属于稀疏MoE架构拥有260亿总参数和128个路由专家每个token约激活40亿参数。本文将通过MMLU、GSM8K等6大权威基准测试全面解析这款模型的性能表现。 模型核心特性解析该模型采用OptiQ敏感性引导的逐层位分配技术在已训练为可承受低比特量化的权重基础上进一步优化。相比传统的均匀4位量化OptiQ技术能够智能分配精度资源在推理密集型任务中展现出显著优势。模型关键规格总参数260亿专家数量128个稀疏MoE架构每token激活参数约40亿量化精度4位混合精度磁盘大小约19GB均匀4位量化约14.5GB每权重比特数6.01 bits-per-weight 六大基准测试成绩对比以下是Gemma-4-26B-A4B-it-qat-OptiQ-4bit与均匀4位量化相同QAT基础在六项关键指标上的对比结果基准测试均匀4位QAT基础OptiQ模型QAT基础性能提升MMLU (5-shot, 1000)64.3%65.9%1.6GSM8K (1000)89.2%90.3%1.1注完整六项指标包括MMLU、GSM8K、IFEval、BFCL、HumanEval和HashHop其平均值显示OptiQ模型在保持量化效率的同时实现了全面性能提升。 性能提升关键分析性能提升主要集中在推理密集型基准测试中MMLU多任务语言理解1.6%GSM8K数学推理1.1%IFEval指令跟随评估0.5%这种提升源于OptiQ技术对稀疏MoE基础模型的精准优化。在该架构中大部分参数存在于128个专家中精度必须到达这些专家才能提升能力而OptiQ的逐层分配技术恰好将精度资源投放到了最需要的地方。 快速开始使用指南基本加载方法from mlx_lm import load model, tokenizer load(mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit)启动服务optiq serve --model mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit开发工具链该模型使用mlx-optiq构建这是MLX原生工具包可在Apple Silicon上本地量化、微调及提供LLM服务无需PyTorch和云服务。 总结与展望Gemma-4-26B-A4B-it-qat-OptiQ-4bit通过OptiQ混合精度量化技术在保持高效存储仅19GB的同时实现了对均匀4位量化模型的全面性能超越。尤其在推理密集型任务上的显著提升证明了敏感性引导的量化策略在大型稀疏MoE模型上的巨大潜力。对于需要在本地设备上部署高性能大语言模型的开发者和研究人员来说这款模型提供了一个理想的平衡点既满足了性能需求又控制了资源消耗。随着量化技术的不断进步我们有理由期待未来在更低比特精度下实现更高性能的突破。【免费下载链接】gemma-4-26B-A4B-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考