用一条Docker命令跑起LocalAI本地部署LLM、语音、图像模型的完整指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI想让AI服务跑在自己电脑上、数据不出内网又要避开一堆环境配置LocalAI 是一个自托管的本地AI引擎能跑LLM、语音、图像、视频等各类模型不需要GPU。下面带你从启动服务到验证API全走一遍。1. 先跑起来一条命令启动LocalAI前提是装好了 Docker。下面这条命令拉取最新镜像并启动服务把 8080 端口映射到本机# 拉取最新镜像并以后台方式启动占用本机 8080 端口 docker run -d --name local-ai -p 8080:8080 localai/localai:latest其余安装方式一句话带过想深度定制可以看 docs/content/getting-started/build.md 从源码编译源码仓库地址是 https://gitcode.com/GitHub_Trending/lo/LocalAI macOS 用户还有现成的桌面版。本文以 Docker 为主线后续都基于它。2. 验证成功30秒确认服务可用在浏览器打开http://localhost:8080能看到 LocalAI 的 Web 界面就算启动成功了。不过界面只是活着的证明。想确认 AI 能力真的就绪还需要加载一个模型。在终端执行# 从官方模型库加载一个1B级别的小模型首次会自动下载 docker exec -it local-ai local-ai run llama-3.2-1b-instruct:q4_k_m模型下载完成后发一个真实的对话请求验证# 调 OpenAI 兼容的 chat 接口发一句你好给模型 curl http://localhost:8080/v1/chat/completions -H Content-Type: application/json \ -d {model:llama-3.2-1b-instruct:q4_k_m,messages:[{role:user,content:你好}]}返回里带choices和模型生成的文本就说明你手上现在有一个完整的、OpenAI 兼容格式的本地推理服务——任何调 OpenAI API 的代码把地址换成http://localhost:8080/v1就能用。3. 搞懂它LocalAI 为什么不用装一堆东西可以把 LocalAI 理解成一个AI 模型的调度总台。你自己不写模型引擎引擎是现成的llama.cpp 管文本、whisper.cpp 管语音转写、stable-diffusion 管画图。LocalAI 的核心就干两件事一是把各种引擎封装成独立的后端你需要哪个模型才把对应的后端按需拉下来没用的东西完全不占空间二是把它们的输入输出统一成 OpenAI/Anthropic 格式的 REST API。所以换模型不用换框架换个后端就行就像总台后面换演员观众看到的始终是同一个节目。4. 从默认到定制模型选型建议模型配置是 YAML 文件预置的模板都在 gallery/ 目录每个文件对应一类模型。决策逻辑很简单要能跑的起步体验就选 1B~4B 级别的小模型如llama-3.2-1b-instructCPU 就能跑改的是启动时local-ai run后面的模型名。要更强的对话质量换更大的量化模型看 gallery/qwen3.yaml 这类模板按需选量化档位内存不够就往低精度走如 Q4_K_M。要生成图片不用改什么核心配置直接加载 gallery/stablediffusion3.yaml 对应的模型走同一个 API。要语音转文字看 gallery/whisper-base.yaml文字转语音看 gallery/piper.yaml。要自己定义参数参考 docs/content/getting-started/customize-model.md照着写一个自己的 YAML 即可。5. 场景实例三种典型用法个人开发者想在本地给项目加个AI能力复用你现有的 OpenAI SDK把 base_url 指到http://localhost:8080/v1装一个 qwen 模型模板见 gallery/qwen3.yaml即可对话。运维同学想搭一个团队共享的AI网关Docker 启动时加上 API Key 限制访问多用户、按用户配额这类设置参考 docs/content/getting-started/ 下的配置文档。算法同学想给自己的推理引擎接入读 backend/README.md按后端接口写一个新后端就能被这个总台调度。6. 避坑自查清单症状8080 端口打不开→ 先跑docker ps看容器是否还在再看curl http://localhost:8080/readyz容器不在就是挂了用docker logs local-ai查原因。症状模型加载失败→ 大概率是磁盘空间或下载中断检查剩余空间并重新执行local-ai run该模型。症状响应特别慢→ 小内存机器别上大模型换 1B/4B 级或更高量化压缩的版本。症状启动日志报 AVX 相关警告→ CPU 太老换机器或换无 AVX 要求的轻量模型。7. 进阶方向与资源地图文档主入口在 docs/content/新手路径是getting-started/下的 quickstart 和 customize-model 两篇。全部模型模板在 gallery/后端与引擎的实现说明在 backend/README.md。分布式部署多台机器一起跑模型可看仓库根目录的docker-compose.distributed.yaml。到这里你的本地AI服务已经从一条命令跑到了能被API调用的状态。开头说的那个场景——数据不出自己机器、不用按token付费——现在就是你的日常了。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 用一条Docker命令跑起LocalAI：本地部署LLM、语音、图像模型的完整指南
用一条Docker命令跑起LocalAI本地部署LLM、语音、图像模型的完整指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI想让AI服务跑在自己电脑上、数据不出内网又要避开一堆环境配置LocalAI 是一个自托管的本地AI引擎能跑LLM、语音、图像、视频等各类模型不需要GPU。下面带你从启动服务到验证API全走一遍。1. 先跑起来一条命令启动LocalAI前提是装好了 Docker。下面这条命令拉取最新镜像并启动服务把 8080 端口映射到本机# 拉取最新镜像并以后台方式启动占用本机 8080 端口 docker run -d --name local-ai -p 8080:8080 localai/localai:latest其余安装方式一句话带过想深度定制可以看 docs/content/getting-started/build.md 从源码编译源码仓库地址是 https://gitcode.com/GitHub_Trending/lo/LocalAI macOS 用户还有现成的桌面版。本文以 Docker 为主线后续都基于它。2. 验证成功30秒确认服务可用在浏览器打开http://localhost:8080能看到 LocalAI 的 Web 界面就算启动成功了。不过界面只是活着的证明。想确认 AI 能力真的就绪还需要加载一个模型。在终端执行# 从官方模型库加载一个1B级别的小模型首次会自动下载 docker exec -it local-ai local-ai run llama-3.2-1b-instruct:q4_k_m模型下载完成后发一个真实的对话请求验证# 调 OpenAI 兼容的 chat 接口发一句你好给模型 curl http://localhost:8080/v1/chat/completions -H Content-Type: application/json \ -d {model:llama-3.2-1b-instruct:q4_k_m,messages:[{role:user,content:你好}]}返回里带choices和模型生成的文本就说明你手上现在有一个完整的、OpenAI 兼容格式的本地推理服务——任何调 OpenAI API 的代码把地址换成http://localhost:8080/v1就能用。3. 搞懂它LocalAI 为什么不用装一堆东西可以把 LocalAI 理解成一个AI 模型的调度总台。你自己不写模型引擎引擎是现成的llama.cpp 管文本、whisper.cpp 管语音转写、stable-diffusion 管画图。LocalAI 的核心就干两件事一是把各种引擎封装成独立的后端你需要哪个模型才把对应的后端按需拉下来没用的东西完全不占空间二是把它们的输入输出统一成 OpenAI/Anthropic 格式的 REST API。所以换模型不用换框架换个后端就行就像总台后面换演员观众看到的始终是同一个节目。4. 从默认到定制模型选型建议模型配置是 YAML 文件预置的模板都在 gallery/ 目录每个文件对应一类模型。决策逻辑很简单要能跑的起步体验就选 1B~4B 级别的小模型如llama-3.2-1b-instructCPU 就能跑改的是启动时local-ai run后面的模型名。要更强的对话质量换更大的量化模型看 gallery/qwen3.yaml 这类模板按需选量化档位内存不够就往低精度走如 Q4_K_M。要生成图片不用改什么核心配置直接加载 gallery/stablediffusion3.yaml 对应的模型走同一个 API。要语音转文字看 gallery/whisper-base.yaml文字转语音看 gallery/piper.yaml。要自己定义参数参考 docs/content/getting-started/customize-model.md照着写一个自己的 YAML 即可。5. 场景实例三种典型用法个人开发者想在本地给项目加个AI能力复用你现有的 OpenAI SDK把 base_url 指到http://localhost:8080/v1装一个 qwen 模型模板见 gallery/qwen3.yaml即可对话。运维同学想搭一个团队共享的AI网关Docker 启动时加上 API Key 限制访问多用户、按用户配额这类设置参考 docs/content/getting-started/ 下的配置文档。算法同学想给自己的推理引擎接入读 backend/README.md按后端接口写一个新后端就能被这个总台调度。6. 避坑自查清单症状8080 端口打不开→ 先跑docker ps看容器是否还在再看curl http://localhost:8080/readyz容器不在就是挂了用docker logs local-ai查原因。症状模型加载失败→ 大概率是磁盘空间或下载中断检查剩余空间并重新执行local-ai run该模型。症状响应特别慢→ 小内存机器别上大模型换 1B/4B 级或更高量化压缩的版本。症状启动日志报 AVX 相关警告→ CPU 太老换机器或换无 AVX 要求的轻量模型。7. 进阶方向与资源地图文档主入口在 docs/content/新手路径是getting-started/下的 quickstart 和 customize-model 两篇。全部模型模板在 gallery/后端与引擎的实现说明在 backend/README.md。分布式部署多台机器一起跑模型可看仓库根目录的docker-compose.distributed.yaml。到这里你的本地AI服务已经从一条命令跑到了能被API调用的状态。开头说的那个场景——数据不出自己机器、不用按token付费——现在就是你的日常了。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考