一条命令跑起 OpenAI 兼容的本地推理服务LocalAI 完全上手指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI如果你想在自己电脑上免费跑大模型还希望它能无缝替换现有的 OpenAI 接口代码LocalAI 是目前最省事的选择之一。它把 llama.cpp、vLLM、whisper.cpp、Stable Diffusion 这类主流推理引擎装进了一个可组合的框架里核心很小你用到哪类模型才拉取对应的后端全程不需要 GPU消费级硬件就能跑所有数据都留在自己的机器上。 先跑起来两条命令验证它在工作别急着读配置先让它转起来。装好 Docker 后执行这一条docker run -p 8080:8080 --name local-ai -ti localai/localai:latest容器起来后打开浏览器访问http://localhost:8080你会看到一个内置的 Web 界面——聊天、装模型、生成图像、管理 AI Agent 都在里面不需要再装任何额外工具。再加载一个模型服务就真正可用了。用 CLI 从模型库Model Gallery挑一个local-ai run qwen3-4bqwen3-4b是个体积不大、CPU 上也能流畅跑的 Qwen3 模型支持工具调用后面做 Agent 也能直接复用。装完模型后任何支持 OpenAI 协议的客户端比如你现有的代码或聊天工具把 base_url 改成http://localhost:8080就能直接对话接口字段和 OpenAI 保持一致Anthropic Messages API 和 Open Responses API 也一并兼容。 按场景看它到底能帮你干什么聊天与问答装个对话模型在 Web 界面的 Chat 页面直接聊历史对话保存在本地消息还能事后编辑而不必重跑模型。适合做内部知识库问答、写代码草稿这类对数据敏感的场景。语音文本转语音TTS和语音转文本ASR是两套独立能力。TTS 侧接入了 Piper覆盖 42 种语言、60 个音色、Kokoro、VibeVoice 等引擎ASR 侧有 whisper.cpp、parakeet.cpp 等还能做说话人分离diarization把一段多人录音自动切成谁说了哪几句。图像与多模态基于 Stable Diffusion、Flux 等模型生图界面里选模型、填提示词、出图一条龙。向量与检索嵌入Embeddings和重排Reranker接口开箱即用配合内置的本地向量库 local-store可以搭一套完全离线的语义搜索不用把文档发到任何外部 API。Agent 与工具调用LocalAI 自带 Agent 平台支持 MCPModel Context Protocol一种让模型调用外部工具的开放协议。你在 Web 界面建一个 Agent、配上工具和系统提示词它就能自主调用工具、执行代码全程跑在你的基础设施里。 换模型与接硬件日常会碰到的两类配置换模型三条路从简单到灵活最省事的是在 Web 界面走 Models → Explore搜索后点 Install进度条走完即可用本地装了什么模型都能在同一个页面里启停、编辑、卸载。命令行党可以local-ai models list查库、local-ai models install 名称装指定模型。如果你手里有现成的权重文件第三条路是导入Web 界面的 Import Model 页面接受 Hugging Face 仓库地址、直链下载 URL、本地文件路径甚至 Ollama 的模型名粘贴进来解析再按需覆盖后端和量化参数即可。仓库里的 gallery/ 目录存放的正是官方模型库的 YAML 配置想自建模型库可以参考它的格式。接硬件加速按你的显卡选镜像没有显卡就用上面那条 CPU 镜像什么都不用改。有显卡的话LocalAI 装模型时会自动探测你的硬件并拉取对应的加速版后端你只需要换一下镜像标签NVIDIA用 CUDA 版镜像并在 docker run 里加--gpus all12/13 两个 CUDA 大版本都有对应标签AMDROCm 版镜像挂载/dev/kfd与/dev/dri设备InteloneAPI 版镜像挂载对应渲染设备Vulkan / Apple SiliconMetal也各有镜像覆盖想手动微调时核心旋钮是模型 YAML 里的gpu_layers把多少层网络卸载到显卡上和context_size上下文长度。显存不够同时装多个模型时VRAM 管理功能会自动把闲置模型卸载腾出显存。细节可以看 docs/content/features/GPU-acceleration.md。⚖️ 选型与取舍什么模型、什么场合小模型优先纯 CPU 机器上1B4B 参数的量化模型如llama-3.2-1b-instruct:q4_k_m、qwen3-4b是体验与速度的平衡点——响应在秒级日常问答足够。8B 以上建议在带显卡的机器上跑否则一句话要等几十秒。量化后缀决定内存名字里带q4_k_m、q8_0的是 GGUF 量化版本数字越小占的内存越少、质量损失越大显存紧张就选更小的量化内存宽裕就往上走一档。它不适合什么别指望它复刻 GPT-4 级别的推理深度——本地能跑的模型规模天然有限复杂任务质量会打折扣。另外它本质是自己运维的推理服务如果你只想调个 API 而不想碰 Docker、模型文件这些东西直接用云 API 反而更省心。需要规模化时单机不够就启用分布式模式——一个共享控制面PostgreSQL NATS带多个无状态前端和 GPU 工作节点请求自动路由到合适的节点模型还能切片分摊到多台机器。 文档、示例与社区资源入门路径docs/content/getting-started/quickstart.md 是最完整的启动向导装模型看 docs/content/getting-started/models.md能力文档都在 docs/content/features/ 下每个功能一篇比如 GPU 加速、Agent、MCP、实时语音仓库内的 examples/ 放有现成示例如 vLLM 压测脚本gallery/ 是官方模型库配置遇到问题先看 docs/content/faq.md社区讨论在项目的 Discord 频道里很活跃✅ 下一步今天就做这三件事用上面的 docker 命令把服务跑起来确认能打开http://localhost:8080装一个 4B 以下的小模型把现有项目里 OpenAI SDK 的 base_url 指过来跑通一次真实请求有 GPU 的话换加速镜像重装同一个模型对比一下响应速度——这一步会让你直观理解本地推理的天花板在哪从聊天到生图到语音LocalAI 的价值在于把私有、免费、可替换这三件事压缩成了一条启动命令的距离。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一条命令跑起 OpenAI 兼容的本地推理服务：LocalAI 完全上手指南
一条命令跑起 OpenAI 兼容的本地推理服务LocalAI 完全上手指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI如果你想在自己电脑上免费跑大模型还希望它能无缝替换现有的 OpenAI 接口代码LocalAI 是目前最省事的选择之一。它把 llama.cpp、vLLM、whisper.cpp、Stable Diffusion 这类主流推理引擎装进了一个可组合的框架里核心很小你用到哪类模型才拉取对应的后端全程不需要 GPU消费级硬件就能跑所有数据都留在自己的机器上。 先跑起来两条命令验证它在工作别急着读配置先让它转起来。装好 Docker 后执行这一条docker run -p 8080:8080 --name local-ai -ti localai/localai:latest容器起来后打开浏览器访问http://localhost:8080你会看到一个内置的 Web 界面——聊天、装模型、生成图像、管理 AI Agent 都在里面不需要再装任何额外工具。再加载一个模型服务就真正可用了。用 CLI 从模型库Model Gallery挑一个local-ai run qwen3-4bqwen3-4b是个体积不大、CPU 上也能流畅跑的 Qwen3 模型支持工具调用后面做 Agent 也能直接复用。装完模型后任何支持 OpenAI 协议的客户端比如你现有的代码或聊天工具把 base_url 改成http://localhost:8080就能直接对话接口字段和 OpenAI 保持一致Anthropic Messages API 和 Open Responses API 也一并兼容。 按场景看它到底能帮你干什么聊天与问答装个对话模型在 Web 界面的 Chat 页面直接聊历史对话保存在本地消息还能事后编辑而不必重跑模型。适合做内部知识库问答、写代码草稿这类对数据敏感的场景。语音文本转语音TTS和语音转文本ASR是两套独立能力。TTS 侧接入了 Piper覆盖 42 种语言、60 个音色、Kokoro、VibeVoice 等引擎ASR 侧有 whisper.cpp、parakeet.cpp 等还能做说话人分离diarization把一段多人录音自动切成谁说了哪几句。图像与多模态基于 Stable Diffusion、Flux 等模型生图界面里选模型、填提示词、出图一条龙。向量与检索嵌入Embeddings和重排Reranker接口开箱即用配合内置的本地向量库 local-store可以搭一套完全离线的语义搜索不用把文档发到任何外部 API。Agent 与工具调用LocalAI 自带 Agent 平台支持 MCPModel Context Protocol一种让模型调用外部工具的开放协议。你在 Web 界面建一个 Agent、配上工具和系统提示词它就能自主调用工具、执行代码全程跑在你的基础设施里。 换模型与接硬件日常会碰到的两类配置换模型三条路从简单到灵活最省事的是在 Web 界面走 Models → Explore搜索后点 Install进度条走完即可用本地装了什么模型都能在同一个页面里启停、编辑、卸载。命令行党可以local-ai models list查库、local-ai models install 名称装指定模型。如果你手里有现成的权重文件第三条路是导入Web 界面的 Import Model 页面接受 Hugging Face 仓库地址、直链下载 URL、本地文件路径甚至 Ollama 的模型名粘贴进来解析再按需覆盖后端和量化参数即可。仓库里的 gallery/ 目录存放的正是官方模型库的 YAML 配置想自建模型库可以参考它的格式。接硬件加速按你的显卡选镜像没有显卡就用上面那条 CPU 镜像什么都不用改。有显卡的话LocalAI 装模型时会自动探测你的硬件并拉取对应的加速版后端你只需要换一下镜像标签NVIDIA用 CUDA 版镜像并在 docker run 里加--gpus all12/13 两个 CUDA 大版本都有对应标签AMDROCm 版镜像挂载/dev/kfd与/dev/dri设备InteloneAPI 版镜像挂载对应渲染设备Vulkan / Apple SiliconMetal也各有镜像覆盖想手动微调时核心旋钮是模型 YAML 里的gpu_layers把多少层网络卸载到显卡上和context_size上下文长度。显存不够同时装多个模型时VRAM 管理功能会自动把闲置模型卸载腾出显存。细节可以看 docs/content/features/GPU-acceleration.md。⚖️ 选型与取舍什么模型、什么场合小模型优先纯 CPU 机器上1B4B 参数的量化模型如llama-3.2-1b-instruct:q4_k_m、qwen3-4b是体验与速度的平衡点——响应在秒级日常问答足够。8B 以上建议在带显卡的机器上跑否则一句话要等几十秒。量化后缀决定内存名字里带q4_k_m、q8_0的是 GGUF 量化版本数字越小占的内存越少、质量损失越大显存紧张就选更小的量化内存宽裕就往上走一档。它不适合什么别指望它复刻 GPT-4 级别的推理深度——本地能跑的模型规模天然有限复杂任务质量会打折扣。另外它本质是自己运维的推理服务如果你只想调个 API 而不想碰 Docker、模型文件这些东西直接用云 API 反而更省心。需要规模化时单机不够就启用分布式模式——一个共享控制面PostgreSQL NATS带多个无状态前端和 GPU 工作节点请求自动路由到合适的节点模型还能切片分摊到多台机器。 文档、示例与社区资源入门路径docs/content/getting-started/quickstart.md 是最完整的启动向导装模型看 docs/content/getting-started/models.md能力文档都在 docs/content/features/ 下每个功能一篇比如 GPU 加速、Agent、MCP、实时语音仓库内的 examples/ 放有现成示例如 vLLM 压测脚本gallery/ 是官方模型库配置遇到问题先看 docs/content/faq.md社区讨论在项目的 Discord 频道里很活跃✅ 下一步今天就做这三件事用上面的 docker 命令把服务跑起来确认能打开http://localhost:8080装一个 4B 以下的小模型把现有项目里 OpenAI SDK 的 base_url 指过来跑通一次真实请求有 GPU 的话换加速镜像重装同一个模型对比一下响应速度——这一步会让你直观理解本地推理的天花板在哪从聊天到生图到语音LocalAI 的价值在于把私有、免费、可替换这三件事压缩成了一条启动命令的距离。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考