一、硬件前置要求先看避免跑不动模型规格最低内存推荐内存适用电脑0.5B~1.8B 小模型 (qwen2.5:0.5b)8G8G轻薄本、无独显7B 中文通用 (qwen2.5:7b)10G16G普通游戏本、台式14B 高质量中文 (qwen2.5:14b)16G24G 独显高配游戏本 / 工作站34B/70B 大模型32G64G服务器 / 多卡主机硬盘模型文件 400MB~40GB建议预留 50GB 以上固态显卡NVIDIA 显卡自动 CUDA 加速AMD 显卡支持 ROCmApple Silicon M 系列原生 Metal 加速无显卡仅 CPU 可运行速度慢二、多系统安装步骤2.1 Windows 安装Win10/Win11两种方式方式 1图形安装包新手推荐下载地址 官方https://ollama.com/download/windows 国内加速镜像https://ollama.org.cn/download/双击OllamaSetup.exe一路下一步自动添加环境变量、后台开机自启自定义安装路径不想装 C 盘将安装包放到目标盘文件夹如 D:\AI\OllamaInstall地址栏输入 cmd 回车执行OllamaSetup.exe /install D:\Ollama验证安装打开 CMD/PowerShell 输入ollama --version输出版本号即成功浏览器访问http://127.0.0.1:11434显示 Ollama is running 代表服务正常方式 2PowerShell 一键脚本无图形界面右键开始菜单 →管理员 PowerShell执行irm https://ollama.com/install.ps1 | iex2.2 macOS 安装Intel/M1/M2/M3 通用方式 A一键终端脚本通用打开终端执行curl -fsSL https://ollama.com/install.sh | sh方式 BHomebrew 安装已有 brewbrew install ollama方式 Cdmg 图形包官网下载 dmg拖拽 Ollama 到应用程序双击启动后台服务 验证ollama --version2.3 LinuxUbuntu/Debian/CentOS一键安装curl -fsSL https://ollama.com/install.sh | sh安装后自动创建 systemd 自启服务 查看服务状态sudo systemctl status ollama # 开机自启默认已开启 sudo systemctl enable ollama2.4 Docker 容器部署服务器 / 多环境隔离# 后台启动持久化模型映射11434端口允许局域网访问 docker run -d \ --name ollama \ --restart always \ -v ollama_data:/root/.ollama \ -p 11434:11434 \ -e OLLAMA_HOST0.0.0.0 \ ollama/ollama进入容器操作模型docker exec -it ollama ollama run qwen2.5:7b三、核心前置配置必做3.1 修改模型存储路径解决 C 盘爆满环境变量OLLAMA_MODELS值填大容量磁盘目录Windows此电脑 → 属性 → 高级系统设置 → 环境变量系统变量→新建 变量名OLLAMA_MODELS变量值D:\AI\OllamaModels重启终端 / 重启 Ollama 程序生效macOS/Linux永久生效# macOS zsh echo export OLLAMA_MODELS/Volumes/AI/OllamaModels ~/.zshrc source ~/.zshrc # Linux bash echo export OLLAMA_MODELS/mnt/disk/ollama ~/.bashrc source ~/.bashrc3.2 开启局域网 / 外网访问默认仅本地 127.0.0.1环境变量OLLAMA_HOST0.0.0.0监听全部 IPWindows新增系统环境变量OLLAMA_HOST值0.0.0.0重启电脑 / Ollama 程序macOS# 临时生效 OLLAMA_HOST0.0.0.0 ollama serve # 永久开机生效 launchctl setenv OLLAMA_HOST 0.0.0.0Linux systemd服务器推荐永久sudo systemctl edit ollama写入内容[Service] EnvironmentOLLAMA_HOST0.0.0.0重载重启服务sudo systemctl daemon-reload sudo systemctl restart ollama # 放行防火墙端口11434 sudo ufw allow 11434/tcp四、模型基础操作命令4.1 拉取模型国内中文优先推荐# 低配轻薄本 ollama pull qwen2.5:0.5b # 通用中文均衡16G内存首选 ollama pull qwen2.5:7b # 高质量深度中文/推理 ollama pull qwen2.5:14b # 代码专用 ollama pull qwen2.5-coder:7b # 多模态图文看图问答 ollama pull llava:7b # 深度思考推理模型 ollama pull deepseek-r1:7b模型库官网https://ollama.com/library4.2 常用管理命令# 启动模型交互式对话 ollama run qwen2.5:7b # 查看本地已下载模型 ollama list # 查看当前正在运行的模型与资源占用 ollama ps # 停止运行中的模型 ollama stop qwen2.5:7b # 删除模型释放空间 ollama rm qwen2.5:0.5b # 更新模型 ollama pull qwen2.5:7b进入对话后输入/bye退出交互五、本地 API 调用开发对接兼容 OpenAI 格式Ollama 原生提供 OpenAI 兼容接口端口 114345.1 基础 curl 测试curl http://localhost:11434/api/chat -d { model: qwen2.5:7b, messages: [{role: user, content: 介绍Ollama}] }5.2 OpenAI 兼容标准接口适配 LangChain、LlamaIndex、各类前端 WebUI地址http://127.0.0.1:11434/v1/chat/completions示例curl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5:7b, messages: [{role: user, content: 写一段python快速排序}] }六、可视化 WebUI推荐 Open WebUI一键本地聊天界面一键启动Docker 最简docker run -d \ -p 3000:3000 \ -v open-webui:/app/backend/data \ --add-hosthost.docker.internal:host-gateway \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main访问地址http://localhost:3000首次注册管理员账号自动连接本机 Ollama无需额外配置支持多对话、模型切换、文件上传 RAG、参数调优、多用户七、自定义模型Modelfile 微调提示词新建 Modelfile 文本示例ModelfileFROM qwen2.5:7b # 全局系统提示词 SYSTEM 你是专业中文助手回答简洁易懂 # 生成参数 PARAMETER temperature 0.7 PARAMETER num_ctx 8192创建自定义模型标签ollama create my-assistant -f ./Modelfile运行自定义模型ollama run my-assistant八、常见问题与排错端口 11434 被占用Windowsnetstat -ano | findstr :11434→ taskkill /PID 进程号 /F macOSlsof -i :11434退出菜单栏 Ollama 程序 Linuxsudo ss -tlnp | grep 11434杀死占用进程下载模型速度极慢使用国内镜像ollama.org.cn更换手机热点分段 pull 小量化版本 q4_K_M内存不足、运行崩溃切换更小参数模型关闭后台软件使用 q4 量化后缀模型体积减半局域网其他设备无法访问确认设置OLLAMA_HOST0.0.0.0关闭系统防火墙放行 11434 端口Windows WSL2 性能优化 WSL 内安装 OllamaGPU 支持更好内存分配在.wslconfig 中调大NVIDIA 显卡不加速 安装对应 CUDA 驱动重启 Ollama执行ollama info查看 GPU 识别状态九、离线部署方案能联网机器执行ollama pull xxx完整下载模型复制模型目录WindowsC:\Users\xxx\.ollama\models/ macOS~/.ollama/models粘贴到离线机器对应OLLAMA_MODELS路径无需重新下载直接 ollama run 使用