一台电脑跑通大模型、文生图与语音合成LocalAI 完整使用指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源的本地 AI 引擎一个很小的核心负责对外提供 OpenAI、Anthropic 兼容的接口而真正干活的模型后端llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等按需单独拉取用多少装多少。文本、图像、视频、语音这几类模型都能在普通硬件上本地运行纯 CPU 机器也够用不强制 GPU。它内置了网页界面装好模型就能直接对话、出图、合成语音不用手写配置文件。一条命令跑起来三种安装方式本地跑 AI 最劝退的地方往往是环境搭建。LocalAI 把这件事压到一条命令大多数用户用容器启动几秒后浏览器打开http://localhost:8080就能看到界面。容器方式推荐docker run -ti --name local-ai -p 8080:8080 localai/localai:latest有对应显卡时换一张镜像即可核心命令不变你的硬件容器镜像追加参数只有 CPUlocalai/localai:latest无NVIDIA 显卡localai/localai:latest-gpu-nvidia-cuda-12--gpus allAMDROCmlocalai/localai:latest-gpu-hipblas--device/dev/kfd --device/dev/driInteloneAPIlocalai/localai:latest-gpu-intel--device/dev/dri/card1任意 Vulkan 显卡localai/localai:latest-gpu-vulkan无装完模型后LocalAI 会按你的显卡能力自动挑后端这一步通常不用手动干预。macOS 桌面版下载并双击 DMG 安装。由于安装包没有 Apple 签名首次启动前在终端执行一次sudo xattr -d com.apple.quarantine /Applications/LocalAI.app命令行方式适合已经熟悉终端、想自定义参数的人。核心逻辑同样是启动 顺带装模型local-ai run qwen3-4b三种方式最后都落在同一个网页界面后续操作一致。源码结构上核心在 cmd/后端引擎放在 backend/想深入了解可以看 docs/content/overview.md。能力地图它到底能替你干什么把 LocalAI 当成一台本地 AI 工具箱来看更直观。下面按能力拆每种能力都对应一个可直接调用的接口网页界面里也有对应入口。和大模型对话本地版的 OpenAI 接口在网页的 Chat 页选一个已装模型输入问题就能收到回复想接入自己的程序把地址指向http://localhost:8080即可走的是 OpenAI 兼容端点curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:qwen3-4b,messages:[{role:user,content:你好}]}同一套核心还支持 Anthropic Messages 接口和 Open Responses 接口接口切换见 docs/content/features/。文生图在本地跑 Stable Diffusion 与 Flux在模型库搜图像模型如 Flux 的 ggml 版装好后向图像生成端点发一句描述就能出图。负向提示词用|分隔拼在正向词后面curl http://localhost:8080/v1/images/generations \ -H Content-Type: application/json \ -d {prompt:A cute baby sea otter,size:512x512}图像能力细节见 docs/content/features/image-generation.md。语音两头通合成与识别TTS 走文本转语音端点ASR 走语音转文本端点两者都挂在统一接口下。Piper、Coqui、Kokoro、Vibevoice 等引擎按需加载支持多语言、多音色。视觉与多模态让模型看和听除文本外LocalAI 还能做图像理解Vision、目标检测、嵌入向量、重排序、说话人识别等。一个请求进来核心按模型类型路由到对应后端互不干扰——某块后端出问题不会拖垮其余部分。这个小核心 可插拔后端的设计是它的关键结构示意图见 docs/content/overview.md。内置智能体给模型工具让它自己干活Agents 页里可以新建一个智能体给它配置工具、系统提示词然后开始对话它会按需调用工具、执行代码、读取文件涉及状态变更的动作会先征求你同意。智能体支持 MCPModel Context Protocol是核心的一部分不用单独安装。模型库一键装几百个模型先估好显存打开 Models 页有两个视图Explore用来浏览、比较、安装Installed管理已装模型的运行、停用、配置编辑。安装时界面会直接给出预计下载体积和预计显存占用并用绿色/红色标出你的机器装不装得下按 95% 余量判断省得装一半才OOM。想换来源也可以在 Runtime Settings 里加自定义模型库模型定义文件本身是 YAML仓库里 gallery/ 目录就是一批现成示例。没显卡也能跑硬件与性能LocalAI 的底线是纯 CPU。要跑得更快或塞进更大的模型按硬件调三处即可量化档位显存紧张就选 Q4_K_M 之类的低量化版本体积和内存占用都小上下文长度context_size越大越吃内存够用就好显存管理用--max-active-backends1只留一个模型在内存里或开空闲看门狗自动卸载长期不用的模型。后端引擎以独立进程 独立镜像运行装、升级、删都不碰核心一个后端出错不影响整体。这个按需拉取的设计决定了它只占用你用到的那部分资源。从单机到多机分布与多人单台不够时LocalAI 支持水平扩展加入 GPU 工作节点自注册、P2P 联邦做负载均衡、大模型跨机分片。多人环境则用LOCALAI_AUTHtrue开启用户认证配 API 密钥、角色和用量配额。多机拓扑可参考 docs/content/features/distributed-mode.md。出问题时先自检这几步别急着翻社区先跑几个诊断命令定位问题现象先查什么处理方向8080 连不上进程是否在跑、端口是否被占docker logs local-ai、查端口占用模型 404模型名是否和/v1/models返回的一致核对名字确认文件在 models 目录加载失败后端是否装对GGUF 配llama-cpplocal-ai backends list补装内存爆掉量化档位、上下文大小降量化、降context_size、low_vram: true诊断命令与完整排查见 docs/content/getting-started/troubleshooting.md。下一步容器里跑起来后先装一个 CPU 友好的小模型如qwen3-4b跑通第一次对话到 Models → Explore 装一个图像模型试一下/v1/images/generations需要接自己的程序时把 OpenAI SDK 的地址指向http://localhost:8080想加能力智能体、多用户、分布再回到能力地图按需展开。官方文档入口在 docs/content/特性清单见 docs/content/features/。从一条docker run开始先把能对话跑通剩下的能力随用随装。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一台电脑跑通大模型、文生图与语音合成：LocalAI 完整使用指南
一台电脑跑通大模型、文生图与语音合成LocalAI 完整使用指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源的本地 AI 引擎一个很小的核心负责对外提供 OpenAI、Anthropic 兼容的接口而真正干活的模型后端llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等按需单独拉取用多少装多少。文本、图像、视频、语音这几类模型都能在普通硬件上本地运行纯 CPU 机器也够用不强制 GPU。它内置了网页界面装好模型就能直接对话、出图、合成语音不用手写配置文件。一条命令跑起来三种安装方式本地跑 AI 最劝退的地方往往是环境搭建。LocalAI 把这件事压到一条命令大多数用户用容器启动几秒后浏览器打开http://localhost:8080就能看到界面。容器方式推荐docker run -ti --name local-ai -p 8080:8080 localai/localai:latest有对应显卡时换一张镜像即可核心命令不变你的硬件容器镜像追加参数只有 CPUlocalai/localai:latest无NVIDIA 显卡localai/localai:latest-gpu-nvidia-cuda-12--gpus allAMDROCmlocalai/localai:latest-gpu-hipblas--device/dev/kfd --device/dev/driInteloneAPIlocalai/localai:latest-gpu-intel--device/dev/dri/card1任意 Vulkan 显卡localai/localai:latest-gpu-vulkan无装完模型后LocalAI 会按你的显卡能力自动挑后端这一步通常不用手动干预。macOS 桌面版下载并双击 DMG 安装。由于安装包没有 Apple 签名首次启动前在终端执行一次sudo xattr -d com.apple.quarantine /Applications/LocalAI.app命令行方式适合已经熟悉终端、想自定义参数的人。核心逻辑同样是启动 顺带装模型local-ai run qwen3-4b三种方式最后都落在同一个网页界面后续操作一致。源码结构上核心在 cmd/后端引擎放在 backend/想深入了解可以看 docs/content/overview.md。能力地图它到底能替你干什么把 LocalAI 当成一台本地 AI 工具箱来看更直观。下面按能力拆每种能力都对应一个可直接调用的接口网页界面里也有对应入口。和大模型对话本地版的 OpenAI 接口在网页的 Chat 页选一个已装模型输入问题就能收到回复想接入自己的程序把地址指向http://localhost:8080即可走的是 OpenAI 兼容端点curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:qwen3-4b,messages:[{role:user,content:你好}]}同一套核心还支持 Anthropic Messages 接口和 Open Responses 接口接口切换见 docs/content/features/。文生图在本地跑 Stable Diffusion 与 Flux在模型库搜图像模型如 Flux 的 ggml 版装好后向图像生成端点发一句描述就能出图。负向提示词用|分隔拼在正向词后面curl http://localhost:8080/v1/images/generations \ -H Content-Type: application/json \ -d {prompt:A cute baby sea otter,size:512x512}图像能力细节见 docs/content/features/image-generation.md。语音两头通合成与识别TTS 走文本转语音端点ASR 走语音转文本端点两者都挂在统一接口下。Piper、Coqui、Kokoro、Vibevoice 等引擎按需加载支持多语言、多音色。视觉与多模态让模型看和听除文本外LocalAI 还能做图像理解Vision、目标检测、嵌入向量、重排序、说话人识别等。一个请求进来核心按模型类型路由到对应后端互不干扰——某块后端出问题不会拖垮其余部分。这个小核心 可插拔后端的设计是它的关键结构示意图见 docs/content/overview.md。内置智能体给模型工具让它自己干活Agents 页里可以新建一个智能体给它配置工具、系统提示词然后开始对话它会按需调用工具、执行代码、读取文件涉及状态变更的动作会先征求你同意。智能体支持 MCPModel Context Protocol是核心的一部分不用单独安装。模型库一键装几百个模型先估好显存打开 Models 页有两个视图Explore用来浏览、比较、安装Installed管理已装模型的运行、停用、配置编辑。安装时界面会直接给出预计下载体积和预计显存占用并用绿色/红色标出你的机器装不装得下按 95% 余量判断省得装一半才OOM。想换来源也可以在 Runtime Settings 里加自定义模型库模型定义文件本身是 YAML仓库里 gallery/ 目录就是一批现成示例。没显卡也能跑硬件与性能LocalAI 的底线是纯 CPU。要跑得更快或塞进更大的模型按硬件调三处即可量化档位显存紧张就选 Q4_K_M 之类的低量化版本体积和内存占用都小上下文长度context_size越大越吃内存够用就好显存管理用--max-active-backends1只留一个模型在内存里或开空闲看门狗自动卸载长期不用的模型。后端引擎以独立进程 独立镜像运行装、升级、删都不碰核心一个后端出错不影响整体。这个按需拉取的设计决定了它只占用你用到的那部分资源。从单机到多机分布与多人单台不够时LocalAI 支持水平扩展加入 GPU 工作节点自注册、P2P 联邦做负载均衡、大模型跨机分片。多人环境则用LOCALAI_AUTHtrue开启用户认证配 API 密钥、角色和用量配额。多机拓扑可参考 docs/content/features/distributed-mode.md。出问题时先自检这几步别急着翻社区先跑几个诊断命令定位问题现象先查什么处理方向8080 连不上进程是否在跑、端口是否被占docker logs local-ai、查端口占用模型 404模型名是否和/v1/models返回的一致核对名字确认文件在 models 目录加载失败后端是否装对GGUF 配llama-cpplocal-ai backends list补装内存爆掉量化档位、上下文大小降量化、降context_size、low_vram: true诊断命令与完整排查见 docs/content/getting-started/troubleshooting.md。下一步容器里跑起来后先装一个 CPU 友好的小模型如qwen3-4b跑通第一次对话到 Models → Explore 装一个图像模型试一下/v1/images/generations需要接自己的程序时把 OpenAI SDK 的地址指向http://localhost:8080想加能力智能体、多用户、分布再回到能力地图按需展开。官方文档入口在 docs/content/特性清单见 docs/content/features/。从一条docker run开始先把能对话跑通剩下的能力随用随装。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考