3 条命令跑起本地 OpenAI APILocalAI 仅 CPU 也能部署【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源的 AI 推理引擎解决的问题很直接在你自己的机器或内网服务器上运行文本、图像、语音、视频类大模型数据不出你的网络。它对外提供 OpenAI 兼容的 REST API——服务起来后现有客户端只要把地址改成 localhost就能无缝切换过来用。3 条命令启动 LocalAI从容器到第一次 API 调用只要机器上装好了 Docker整个过程就是三条命令。docker run -ti --name local-ai -p 8080:8080 localai/localai:latest服务起来后监听本机 8080 端口。接着加载一个 CPU 就能流畅跑的小模型这条命令会从模型库拉取模型需要哪个推理后端就自动下载哪个不用手动配依赖local-ai run llama-3.2-1b-instruct:q4_k_m最后用 API 验证。LocalAI 的接口和 OpenAI 完全兼容下面的请求发出去、收到文字回复整条链路就通了curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:llama-3.2-1b-instruct:q4_k_m,messages:[{role:user,content:你好}]}不想敲命令也行浏览器打开 http://localhost:8080 就是内置 Web 界面在 Model Gallery 页搜索、安装、管理模型在 Chat 页直接对话。按硬件选部署方案CPU、NVIDIA、AMD 各一条命令官方镜像按硬件划分对号入座即可没有 GPU 就选第一行硬件镜像标签启动参数仅 CPUlocalai/localai:latest无NVIDIACUDA 13localai/localai:latest-gpu-nvidia-cuda-13--gpus allNVIDIACUDA 12localai/localai:latest-gpu-nvidia-cuda-12--gpus allAMDROCmlocalai/localai:latest-gpu-hipblas--device/dev/kfd --device/dev/dri --group-addvideoIntel 核显localai/localai:latest-gpu-intel--device/dev/dri/card1 --device/dev/dri/renderD128跨厂商 Vulkanlocalai/localai:latest-gpu-vulkan无做法就是替换第一条命令末尾的镜像名和附加参数。NVIDIA 需要宿主机装好 Container Toolkit驱动只支持 CUDA 12 就选 cuda-12 那一行不必强上 13。只改 3 个配置项端口、API 密钥、数据持久化LocalAI 基本靠环境变量配置不用翻配置文件。真正值得动的只有三个LOCALAI_API_KEY服务要暴露到局域网或公网时设上它之后所有 API 调用都必须带这个密钥相当于门卫密码只在本机跑可以不设。LOCALAI_ADDRESS改监听地址和端口例如LOCALAI_ADDRESS:9090。默认的 8080 是重灾区很容易被其他服务占掉。四个数据目录模型、后端、配置、应用数据分别存放在容器内的/models、/backends、/configuration、/data。用-v挂载出去重建容器或升级镜像时才不会丢。三项合起来的完整写法docker run -ti --name local-ai -p 9090:8080 \ -e LOCALAI_API_KEYyour-key \ -v localai-models:/models -v localai-backends:/backends \ -v localai-configuration:/configuration -v localai-data:/data \ localai/localai:latest-v里的卷名可先用docker volume create localai-models等命令提前创建也可以换成宿主机上的任意目录路径。⚠️ 避坑第一次请求前核对这 3 件事首次启动偏慢LocalAI 采用用到才拉的后端架构第一次跑模型时会下载对应推理引擎等几分钟属正常现象后续复用就没有这个等待。端口被占用启动失败先看 8080 是否被占换LOCALAI_ADDRESS或用-p 9090:8080映射到别的端口即可。忘挂数据卷容器一重建模型和对话历史就跟着没了只能重新下载启动前多花 10 秒检查挂载最省事。数据留在自己的机器上API 说的是 OpenAI 的语言——到这里一个能直接用的私有 OpenAI就已经在你手里了。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3 条命令跑起本地 OpenAI API：LocalAI 仅 CPU 也能部署
3 条命令跑起本地 OpenAI APILocalAI 仅 CPU 也能部署【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源的 AI 推理引擎解决的问题很直接在你自己的机器或内网服务器上运行文本、图像、语音、视频类大模型数据不出你的网络。它对外提供 OpenAI 兼容的 REST API——服务起来后现有客户端只要把地址改成 localhost就能无缝切换过来用。3 条命令启动 LocalAI从容器到第一次 API 调用只要机器上装好了 Docker整个过程就是三条命令。docker run -ti --name local-ai -p 8080:8080 localai/localai:latest服务起来后监听本机 8080 端口。接着加载一个 CPU 就能流畅跑的小模型这条命令会从模型库拉取模型需要哪个推理后端就自动下载哪个不用手动配依赖local-ai run llama-3.2-1b-instruct:q4_k_m最后用 API 验证。LocalAI 的接口和 OpenAI 完全兼容下面的请求发出去、收到文字回复整条链路就通了curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:llama-3.2-1b-instruct:q4_k_m,messages:[{role:user,content:你好}]}不想敲命令也行浏览器打开 http://localhost:8080 就是内置 Web 界面在 Model Gallery 页搜索、安装、管理模型在 Chat 页直接对话。按硬件选部署方案CPU、NVIDIA、AMD 各一条命令官方镜像按硬件划分对号入座即可没有 GPU 就选第一行硬件镜像标签启动参数仅 CPUlocalai/localai:latest无NVIDIACUDA 13localai/localai:latest-gpu-nvidia-cuda-13--gpus allNVIDIACUDA 12localai/localai:latest-gpu-nvidia-cuda-12--gpus allAMDROCmlocalai/localai:latest-gpu-hipblas--device/dev/kfd --device/dev/dri --group-addvideoIntel 核显localai/localai:latest-gpu-intel--device/dev/dri/card1 --device/dev/dri/renderD128跨厂商 Vulkanlocalai/localai:latest-gpu-vulkan无做法就是替换第一条命令末尾的镜像名和附加参数。NVIDIA 需要宿主机装好 Container Toolkit驱动只支持 CUDA 12 就选 cuda-12 那一行不必强上 13。只改 3 个配置项端口、API 密钥、数据持久化LocalAI 基本靠环境变量配置不用翻配置文件。真正值得动的只有三个LOCALAI_API_KEY服务要暴露到局域网或公网时设上它之后所有 API 调用都必须带这个密钥相当于门卫密码只在本机跑可以不设。LOCALAI_ADDRESS改监听地址和端口例如LOCALAI_ADDRESS:9090。默认的 8080 是重灾区很容易被其他服务占掉。四个数据目录模型、后端、配置、应用数据分别存放在容器内的/models、/backends、/configuration、/data。用-v挂载出去重建容器或升级镜像时才不会丢。三项合起来的完整写法docker run -ti --name local-ai -p 9090:8080 \ -e LOCALAI_API_KEYyour-key \ -v localai-models:/models -v localai-backends:/backends \ -v localai-configuration:/configuration -v localai-data:/data \ localai/localai:latest-v里的卷名可先用docker volume create localai-models等命令提前创建也可以换成宿主机上的任意目录路径。⚠️ 避坑第一次请求前核对这 3 件事首次启动偏慢LocalAI 采用用到才拉的后端架构第一次跑模型时会下载对应推理引擎等几分钟属正常现象后续复用就没有这个等待。端口被占用启动失败先看 8080 是否被占换LOCALAI_ADDRESS或用-p 9090:8080映射到别的端口即可。忘挂数据卷容器一重建模型和对话历史就跟着没了只能重新下载启动前多花 10 秒检查挂载最省事。数据留在自己的机器上API 说的是 OpenAI 的语言——到这里一个能直接用的私有 OpenAI就已经在你手里了。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考