零基础安装指南如何在 Apple Silicon 上运行 lift-oQ3 视觉语言模型【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3lift-oQ3 是一款专为结构化提取设计的 9B 视觉语言模型由 datalab-to/lift 转换而来能够在 Apple Silicon 芯片的 Mac 上完全本地运行。它可以把发票、单据、表格、PDF 等图片文档自动转成结构清晰的 JSON 数据全程离线、免费且不泄露隐私。本文是一份零基础安装指南从环境准备到命令行运行再到搭建 OpenAI 兼容的本地 API 服务手把手带你跑通 lift-oQ3 视觉语言模型。lift-oQ3 是什么一款看图输出 JSON的 9B 视觉语言模型lift-oQ3 基于 Qwen3.5 架构9B 参数核心能力是图片 / PDF → 结构化 JSON 识别发票、收据、报关单、合同、表格等文档 自动提取字段并按你给定的 JSON Schema 约束输出保证格式合法、类型正确⚡ 采用 oMLX 逐层混合精度量化平均约 3.5 bit/权重是同一系列中压缩最激进、速度最快的版本。官方同系列还提供了 bf16、oQ8、oQ6、oQ5、oQ4、oQ3.5 等多个量化档位方便不同内存的 Mac 按需选择变体模型大小峰值内存生成速度lift-bf16完整精度18 GB19.9 GB31 t/slift-oQ89.7 GB12.3 GB58 t/slift-oQ56.7 GB8.4 GB83 t/slift-oQ45.6 GB7.2 GB100 t/slift-oQ3本文主角4.6 GB6.2 GB119 t/s可以看到lift-oQ3 只需约 4.6 GB 磁盘、6.2 GB 内存就能在 M 系列芯片上以约 119 t/s 的速度生成普通 16GB 内存的 MacBook Air 也能流畅运行。为什么推荐在 Apple Silicon 上本地运行硬件天然适配MLX 是苹果官方推出的机器学习框架针对 M 系列统一内存架构深度优化无需 NVIDIA 显卡也能高效跑大模型数据不出本机发票、合同等敏感文档无需上传云端隐私安全更有保障零 API 费用本地推理免费且无调用次数限制适合高频批量提取场景。安装前准备环境要求与检查清单在开始之前请先对照以下清单确认你的电脑满足要求Apple Silicon 芯片M1 / M2 / M3 / M4 系列均可含 Pro / Max / Ultra内存建议 16GB 及以上8GB 可运行速度会略慢磁盘剩余空间 ≥ 6GB模型约 4.6GBmacOS 系统版本较新即可无需特殊配置已安装 Homebrewbrew命令可用最快启动方法一条命令完成图片信息提取第 1 步安装 uvuv是新一代 Python 包管理器能自动处理 Python 版本与依赖macOS 上通过 Homebrew 一行安装brew install uv第 2 步运行图片提取在终端中进入存放图片的目录执行以下命令以发票图片invoice.png为例uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ3 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800首次运行会自动下载模型权重约 4.6GB并缓存到本地之后再次运行即可离线使用。几秒钟后终端就会输出结构化的 JSON 提取结果例如发票号、金额、明细等字段。你也可以把--prompt换成中文例如请以 JSON 格式提取这张发票的关键信息模型同样能很好地理解。进阶玩法搭建 OpenAI 兼容的本地 API 服务如果想把模型能力集成到自己的应用里可以启动一个 OpenAI 兼容的服务uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ3 --port 8080服务启动后使用 OpenAI SDK 即可调用并且支持在请求中直接传入 JSON Schema让模型按指定结构输出非常适合票据识别、表单录入等自动化场景from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8080/v1, api_keylocal) resp client.chat.completions.create( modelmlx-community/lift-oQ3, messages[{role: user, content: Extract this invoice.}], temperature0.0, max_tokens800, )把content换成包含image_url的消息体即可传入图片配合response_format指定 JSON Schema 后服务端会在解码阶段强制约束输出返回结果必定合法、字段类型正确。常见问题与避坑指南Q1模型一直输出|im_end|停不下来这是已知的 eos 修复问题。本项目已在generation_config.json中把eos_token_id设置为[248044, 248046]覆盖了248046|im_end|这个结束符按本文命令运行不会出现该问题。如果你从其他来源重新转换模型记得补上这个修复。Q2内存不够怎么办如果运行中提示内存不足可以改用更保守的量化档位例如 lift-oQ45.6GB / 峰值 7.2GB或 lift-oQ5牺牲一点速度换取更稳的体验。Q3量化后提取质量会下降吗官方在简单测试发票上所有档位均能正确提取但在更复杂、对抗性更强的文档上低位宽版本可能存在精度下降。正式使用前建议用你的真实文档先做一轮小规模验证。Q4想完全离线获取模型文件可以克隆本项目仓库后使用本地路径运行git clone https://gitcode.com/hf_mirrors/mlx-community/lift-oQ3然后把命令中的--model换成克隆下来的本地目录路径即可。小结让视觉语言模型真正为你所用至此你已经完成了 lift-oQ3 视觉语言模型在 Apple Silicon 上的本地部署并掌握了命令行提取与 API 服务两种用法。想要了解更完整的参数与示例可以参考仓库内的README.md模型量化配置见config.json对话模板见chat_template.jinja图像预处理参数见preprocessor_config.json与processor_config.json。从一张发票到一段 JSON本地视觉语言模型的部署其实比想象中简单。现在就找一张图片试试吧你会发现原来机器看懂单据可以这么快。【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 零基础安装指南：如何在 Apple Silicon 上运行 lift-oQ3 视觉语言模型
零基础安装指南如何在 Apple Silicon 上运行 lift-oQ3 视觉语言模型【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3lift-oQ3 是一款专为结构化提取设计的 9B 视觉语言模型由 datalab-to/lift 转换而来能够在 Apple Silicon 芯片的 Mac 上完全本地运行。它可以把发票、单据、表格、PDF 等图片文档自动转成结构清晰的 JSON 数据全程离线、免费且不泄露隐私。本文是一份零基础安装指南从环境准备到命令行运行再到搭建 OpenAI 兼容的本地 API 服务手把手带你跑通 lift-oQ3 视觉语言模型。lift-oQ3 是什么一款看图输出 JSON的 9B 视觉语言模型lift-oQ3 基于 Qwen3.5 架构9B 参数核心能力是图片 / PDF → 结构化 JSON 识别发票、收据、报关单、合同、表格等文档 自动提取字段并按你给定的 JSON Schema 约束输出保证格式合法、类型正确⚡ 采用 oMLX 逐层混合精度量化平均约 3.5 bit/权重是同一系列中压缩最激进、速度最快的版本。官方同系列还提供了 bf16、oQ8、oQ6、oQ5、oQ4、oQ3.5 等多个量化档位方便不同内存的 Mac 按需选择变体模型大小峰值内存生成速度lift-bf16完整精度18 GB19.9 GB31 t/slift-oQ89.7 GB12.3 GB58 t/slift-oQ56.7 GB8.4 GB83 t/slift-oQ45.6 GB7.2 GB100 t/slift-oQ3本文主角4.6 GB6.2 GB119 t/s可以看到lift-oQ3 只需约 4.6 GB 磁盘、6.2 GB 内存就能在 M 系列芯片上以约 119 t/s 的速度生成普通 16GB 内存的 MacBook Air 也能流畅运行。为什么推荐在 Apple Silicon 上本地运行硬件天然适配MLX 是苹果官方推出的机器学习框架针对 M 系列统一内存架构深度优化无需 NVIDIA 显卡也能高效跑大模型数据不出本机发票、合同等敏感文档无需上传云端隐私安全更有保障零 API 费用本地推理免费且无调用次数限制适合高频批量提取场景。安装前准备环境要求与检查清单在开始之前请先对照以下清单确认你的电脑满足要求Apple Silicon 芯片M1 / M2 / M3 / M4 系列均可含 Pro / Max / Ultra内存建议 16GB 及以上8GB 可运行速度会略慢磁盘剩余空间 ≥ 6GB模型约 4.6GBmacOS 系统版本较新即可无需特殊配置已安装 Homebrewbrew命令可用最快启动方法一条命令完成图片信息提取第 1 步安装 uvuv是新一代 Python 包管理器能自动处理 Python 版本与依赖macOS 上通过 Homebrew 一行安装brew install uv第 2 步运行图片提取在终端中进入存放图片的目录执行以下命令以发票图片invoice.png为例uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ3 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800首次运行会自动下载模型权重约 4.6GB并缓存到本地之后再次运行即可离线使用。几秒钟后终端就会输出结构化的 JSON 提取结果例如发票号、金额、明细等字段。你也可以把--prompt换成中文例如请以 JSON 格式提取这张发票的关键信息模型同样能很好地理解。进阶玩法搭建 OpenAI 兼容的本地 API 服务如果想把模型能力集成到自己的应用里可以启动一个 OpenAI 兼容的服务uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ3 --port 8080服务启动后使用 OpenAI SDK 即可调用并且支持在请求中直接传入 JSON Schema让模型按指定结构输出非常适合票据识别、表单录入等自动化场景from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8080/v1, api_keylocal) resp client.chat.completions.create( modelmlx-community/lift-oQ3, messages[{role: user, content: Extract this invoice.}], temperature0.0, max_tokens800, )把content换成包含image_url的消息体即可传入图片配合response_format指定 JSON Schema 后服务端会在解码阶段强制约束输出返回结果必定合法、字段类型正确。常见问题与避坑指南Q1模型一直输出|im_end|停不下来这是已知的 eos 修复问题。本项目已在generation_config.json中把eos_token_id设置为[248044, 248046]覆盖了248046|im_end|这个结束符按本文命令运行不会出现该问题。如果你从其他来源重新转换模型记得补上这个修复。Q2内存不够怎么办如果运行中提示内存不足可以改用更保守的量化档位例如 lift-oQ45.6GB / 峰值 7.2GB或 lift-oQ5牺牲一点速度换取更稳的体验。Q3量化后提取质量会下降吗官方在简单测试发票上所有档位均能正确提取但在更复杂、对抗性更强的文档上低位宽版本可能存在精度下降。正式使用前建议用你的真实文档先做一轮小规模验证。Q4想完全离线获取模型文件可以克隆本项目仓库后使用本地路径运行git clone https://gitcode.com/hf_mirrors/mlx-community/lift-oQ3然后把命令中的--model换成克隆下来的本地目录路径即可。小结让视觉语言模型真正为你所用至此你已经完成了 lift-oQ3 视觉语言模型在 Apple Silicon 上的本地部署并掌握了命令行提取与 API 服务两种用法。想要了解更完整的参数与示例可以参考仓库内的README.md模型量化配置见config.json对话模板见chat_template.jinja图像预处理参数见preprocessor_config.json与processor_config.json。从一张发票到一段 JSON本地视觉语言模型的部署其实比想象中简单。现在就找一张图片试试吧你会发现原来机器看懂单据可以这么快。【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考