Qwen-AgentWorld-35B-A3B-oQ4性能深度测评1.8倍速度提升内存占用仅1/3数据告诉你真相【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4Qwen-AgentWorld-35B-A3B-oQ4是基于Qwen/Qwen-AgentWorld-35B-A3B模型的oQ4数据驱动混合精度≈4.6 bpwMLX量化版本专为Apple Silicon打造可在mlx-lm、oMLX或任何MLX应用中运行。该模型在保持出色性能的同时显著降低了内存占用为用户带来高效的文本生成体验。模型基本信息Qwen-AgentWorld-35B-A3B-oQ4是由oMLX的quantize_oq_streaming工具生成的量化模型。它是Qwen-AgentWorld-35B-A3B的量化版本其兄弟版本包括oQ3.5更小更快≈3.5 bpw和bf16全精度。该模型为文本专用模型。基础检查点在config.json中声明了vision_config和MTP头但未提供视觉或mtp.*权重693个张量0个视觉张量0个MTP张量这两者都是从Qwen3.5基础继承的残余框架。此量化版本是忠实的语言模型未丢弃任何多模态内容。性能测试数据测试环境与方法性能测试使用oMLXAuto引擎在M5 Max40核GPU128 GB RAM上进行采用单请求方式。Qwen-AgentWorld-35B-A3B-oQ4性能数据Context (pp/tg)TTFTdecodeprefillpeak mem1024 / 128463 ms136 tok/s2213 tok/s20.1 GB4096 / 1281.18 s129 tok/s3469 tok/s20.8 GB8192 / 1282.19 s125 tok/s3733 tok/s21.2 GB32768 / 12811.5 s111 tok/s2844 tok/s23.2 GB连续批处理pp1024/tg1281×→136 · 2×→181 · 4×→252 · 8×→325 tok/s 聚合解码8个并发请求时达到2.40×。BF16源模型性能参考在相同设置下全精度的Qwen/Qwen-AgentWorld-35B-A3B性能数据如下 | Context (pp/tg) | TTFT | decode | prefill | peak mem | |---|---|---|---|---| | 1024 / 128 | 644 ms | 77 tok/s | 1591 tok/s | 65.6 GB | | 4096 / 128 | 1.68 s | 76 tok/s | 2434 tok/s | 66.4 GB | | 8192 / 128 | 2.39 s | 75 tok/s | 3428 tok/s | 66.7 GB | | 32768 / 128 | 12.0 s | 67 tok/s | 2730 tok/s | 68.7 GB |性能对比结论通过对比可以清晰地看到oQ4在单请求解码吞吐量上达到了约1.8倍而内存占用仅为原来的约1/320 GB对比66 GB并且在8路批处理下可扩展到2.40倍。这意味着在相同的硬件条件下Qwen-AgentWorld-35B-A3B-oQ4能够处理更多的任务同时保持高效的运行速度。准确性快速参考为了对模型的质量保留情况有一个大致了解进行了快速的非代表性sanity检查——每个基准测试100个问题样本启用思考模式通过oMLX的准确性基准测试运行。虽然样本量不足以得出确凿结论但能大致了解不同精度下的质量保留情况。BenchmarkBF16oQ4oQ3.5MathQA85.0%84.0%83.0%MMLU-Pro76.0%77.0%72.0%在这个样本量下oQ4与BF16源模型的差距在≈1个百分点以内在MMLU-Pro上甚至略高——100个问题时的误差表明Qwen-AgentWorld-35B-A3B-oQ4在量化过程中较好地保留了模型的准确性。模型使用方法使用以下命令即可运行Qwen-AgentWorld-35B-A3B-oQ4模型mlx_lm.generate --model mlx-community/Qwen-AgentWorld-35B-A3B-oQ4 \ --system-prompt You are a language world model simulating a Linux terminal. Given the users command, predict the terminal output. \ --prompt $Action: execute_bash\nCommand: ls -la /home/user/project/ \ --max-tokens 512 --temp 0.6该模型默认使用思考模式/think.../RichMediaReference。推荐的采样参数为temperature0.6top_p0.95top_k20。有关七个智能体领域和特定领域系统提示请参见基础模型卡片。总结Qwen-AgentWorld-35B-A3B-oQ4作为一款高效的量化模型在性能和内存占用方面表现出色。1.8倍的速度提升和仅1/3的内存占用使其在Apple Silicon设备上具有很强的实用性。同时其准确性也较好地保留了源模型的水平是文本生成任务的理想选择。无论是个人用户还是企业应用都能从该模型中获得高效、经济的文本生成能力。如果你正在寻找一款性能优异且资源消耗低的语言模型Qwen-AgentWorld-35B-A3B-oQ4绝对值得一试【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考