Inkling-mlx-4bit快速上手指南5分钟完成文本生成模型本地部署【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bitInkling-mlx-4bit是基于MLX框架的4比特量化文本生成模型专为Apple Silicon优化直接从BF16检查点量化而来避免了NVFP4到INT4的二次量化损失是一款适合本地部署的高效能文本生成工具。 模型特性速览核心优势高效量化采用MLX affine 4比特量化方案group size 64仅对路由专家进行量化其他组件保持BF16精度在保证性能的同时显著降低资源占用原生支持专为Apple Silicon设计通过mlx-lm框架实现本地高效运行架构先进基于Thinking Machines Inkling模型的文本主干975B总参数/41B活跃MoE具备强大的文本生成能力技术规格模型类型InklingForConditionalGeneration文本解码器量化配置4比特量化group size 64config.json词汇表大小201024tokenizer_config.json上下文长度1048576config.json⚙️ 硬件要求与准备系统要求操作系统macOSApple Silicon内存需求约560GB磁盘空间加载模型需要同等大小的统一内存当前需分布式/多设备MLX支持软件依赖Python 3.8mlx-lm框架环境准备首先确保已安装必要依赖pip install mlx-lm 快速部署步骤1. 获取模型文件git clone https://gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit cd Inkling-mlx-4bit2. 加载模型与分词器使用mlx-lm框架加载模型注自定义模型类需从转换仓库加载from mlx_lm import load, generate model, tokenizer load(mlx-community/Inkling-mlx-4bit)3. 生成文本prompt The capital of France is response generate(model, tokenizer, promptprompt, max_tokens64) print(response) 使用注意事项重要提示内存限制当前模型需要约560GB统一内存超出单台Mac的最大配置512GB主要作为研究 artifact功能范围仅包含文本解码器不包含视觉图像/视频和音频编码器验证状态自定义Inkling前向传播因子化注意力短卷积sigmoid MoE是参考实现logits尚未与原始模型比对社区支持如遇到加载或运行问题建议检查README.md获取最新说明关注项目更新等待mlx-lm官方支持自定义模型类参与社区讨论分享您的运行结果或失败经验 进阶资源模型转换细节config.json中的mlx_conversion部分分词器配置tokenizer_config.json聊天模板chat_template.jinja【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考