Mac用户必看Hy3-oQ2e-2.37bpw本地运行环境搭建完全教程【免费下载链接】Hy3-oQ2e-2.37bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpwHy3-oQ2e-2.37bpw是腾讯Hunyuan 3.0大模型的MLX量化版本专为Apple Silicon优化以2.37 bits/weight的高效压缩比实现87.7GB的磁盘占用让Mac用户也能体验强大的本地AI能力。本教程将带你完成从环境准备到模型运行的全流程即使是新手也能轻松上手 准备工作系统与环境要求在开始前请确保你的Mac设备满足以下条件硬件要求搭载Apple Silicon芯片M1及以上系统要求macOS 12.0存储空间至少100GB可用空间模型文件87.7GB依赖工具已安装Git和Python 3.8 快速安装三步完成环境配置1. 安装UV包管理器推荐UV是比pip更快的Python包管理器执行以下命令安装curl -LsSf https://astral.sh/uv/install.sh | sh2. 克隆模型仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpw cd Hy3-oQ2e-2.37bpw3. 安装mlx-lm与依赖由于官方mlx-lm暂不支持Hy3需安装预览版本uv pip install mlx-lm githttps://github.com/kernelpool/mlx-lm.gitadd-hy3-preview 启动模型两种运行方式方式一命令行快速生成直接通过终端命令运行python -m mlx_lm generate --model . \ --prompt 请用三句话介绍机器学习 --max-tokens 300方式二Python代码调用创建run_model.py文件使用以下代码from mlx_lm import load, generate model, tokenizer load(.) # 加载当前目录模型 response generate(model, tokenizer, prompt解释什么是人工智能, max_tokens200) print(response)运行脚本python run_model.py⚙️ 高级配置优化你的生成效果修改generation_config.json文件可调整模型输出temperature控制随机性0.1-1.0值越低越确定top_p nucleus采样参数0.7-1.0max_tokens最大输出长度示例配置{ temperature: 0.7, top_p: 0.9, max_tokens: 512 } 模型特点为什么选择这个版本Hy3-oQ2e-2.37bpw是shell-reduced优化版本与其他变体相比专家层保持与oQ2e相同的2-bit gs128 imatrix量化注意力层从8-bit降至6-bit gs128嵌入层从8-bit降至4-bit gs128优势减少约2GB磁盘占用同时保持接近原始模型的性能❓ 常见问题解决Q运行时提示内存不足怎么办A关闭其他占用内存的应用或尝试减少max_tokens参数值Q生成速度慢如何优化A确保使用最新版mlx框架M2及以上芯片性能更佳Q模型文件下载不完整A检查网络连接可使用git lfs pull确保大文件完整下载 许可证信息本模型基于Apache-2.0许可证继承自tencent/Hy3详细许可条款可查看项目根目录的LICENSE文件。通过以上步骤你已经成功在Mac上搭建了Hy3-oQ2e-2.37bpw的本地运行环境。现在就开始探索这个强大模型的各种能力吧无论是代码生成、文本创作还是知识问答它都能成为你的得力助手。【免费下载链接】Hy3-oQ2e-2.37bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考