零基础上手Hy3-oQ2e-2.37bpw3行代码实现文本生成【免费下载链接】Hy3-oQ2e-2.37bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpwHy3-oQ2e-2.37bpw是一款基于MLX框架的高效文本生成模型采用2.37位/权重的量化技术在保持性能的同时显著降低了资源占用非常适合新手快速上手文本生成任务。 模型简介小体积大能量Hy3-oQ2e-2.37bpw是腾讯Hunyuan 3.0295B-A21B MoE模型的MLX量化版本通过omlx oQe技术在2级量化水平下生成有效权重为2.37 bits/weight磁盘占用仅87.7 GB特别针对Apple Silicon优化让普通设备也能流畅运行强大的文本生成模型。 核心优势高效量化采用2-bit gs128 imatrix量化技术在Attention层使用6-bit gs128Embeddings/lm_head使用4-bit gs128在资源占用和性能间取得完美平衡轻量级设计相比原始模型减少约2GB大小更适合本地部署易于使用通过mlx-lm库可快速实现文本生成无需复杂配置 快速开始3步完成安装1️⃣ 克隆项目仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpw cd Hy3-oQ2e-2.37bpw2️⃣ 安装依赖由于目前mlx-lm对hy_v3的支持正在上游处理中我们需要安装特殊版本uv pip install mlx-lm githttps://github.com/kernelpool/mlx-lm.gitadd-hy3-preview3️⃣ 验证安装安装完成后您可以通过以下命令验证是否安装成功python -m mlx_lm --help如果看到mlx_lm的帮助信息则说明安装成功。 3行代码实现文本生成方法一命令行快速生成使用以下命令一行代码即可实现文本生成python -m mlx_lm generate --model mlx-community/Hy3-oQ2e-2.37bpw \ --prompt Explain Bayes theorem in two sentences. --max-tokens 300方法二Python API调用对于开发者使用Python API只需3行代码即可实现文本生成from mlx_lm import load, generate model, tokenizer load(mlx-community/Hy3-oQ2e-2.37bpw) response generate(model, tokenizer, prompt你的问题或提示词, max_tokens300) print(response)⚙️ 生成参数配置您可以通过修改generation_config.json文件来调整生成参数常用参数包括temperature控制生成文本的随机性值越高生成结果越随机默认0.9top_p控制核采样的概率阈值默认1max_tokens生成文本的最大长度 模型性能参考根据官方测试数据Hy3-oQ2e-2.37bpw在多个基准测试中表现优异mathqa0.64mmlu_pro0.60winogrande0.68这些结果表明尽管模型经过高度量化但在各项任务中仍保持了良好的性能非常适合日常文本生成需求。 许可证信息Hy3-oQ2e-2.37bpw遵循Apache-2.0许可证继承自tencent/Hy3项目您可以自由使用和修改该模型详情请参阅项目中的LICENSE文件。通过以上简单步骤即使是零基础的用户也能快速上手Hy3-oQ2e-2.37bpw模型体验高效文本生成的乐趣。无论是学习、工作还是创意写作这款模型都能成为您的得力助手【免费下载链接】Hy3-oQ2e-2.37bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考