跨平台对 Windows、macOS、Linux 等主流桌面与服务器系统均原生支持。- 配置简单且功能强大Ollama 会自动检测你的硬件GPU、CPU优先放到显存显存不够的部分自动放到内存推理时GPU 层和 CPU 层接力计算用户完全无感知无需复杂配置就能最大化利用本地算力。- 流式输出Ollama 支持逐字实时返回模型生成内容无需等待完整响应生成完成实现类似 ChatGPT 的“边想边说”效果。- 深度思考支持模型多步推理、逻辑拆解、复杂问题分步思考模拟人类“先想后答”的思维过程提升复杂任务的回答准确性。- 结构化输出强制模型生成符合指定格式的结构化数据如 JSON、XML、CSV 等确保输出可直接被程序解析无需额外清洗。- 多模态视觉理解支持图像输入与理解模型可识别图片内容、OCR 文字、图表、截图等实现图文混合交互。- 向量化将文本等内容转换为向量用于语义相似度计算、检索增强生成RAG等场景。- 工具调用模型可自动识别并调用外部工具 / 函数如计算器、API 接口、本地脚本、数据库查询等扩展模型能力边界。- 联网搜索模型可实时联网获取最新信息补充模型静态知识回答时效性强、动态变化的问题。安装部署Ollama 支持 Windows、macOS 和 Linux 三大主流系统安装过程非常直观。仅介绍常用的 Windows 安装其他方式请参考官网文档Windows 上安装 OllamaStep 01 官网下载安装程序- https://ollama.com/download/windowsStep 02 运行程序并修改配置Ollama 运行本地模型时免费且没有限制无需登录。但是 Ollama 云端模型和联网搜索功能必须登录 Ollama 账号才能使用。Ollama 的定价参考https://ollama.com/pricingStep 03 下载模型并验证模型选择Ollama 官方库中拥有大量模型选择合适的模型是关键。模型命名首先要了解大模型的命名规则为1品牌版本:参数方向量化特殊标签命名不是强制要求部分会忽略只显示用户最关心的参数所以不同模型会让人感觉命名规则不标准。 比如- qwen3.5:9b通义千问 3.5 系列 : 90 亿9 Billion参数规模- qwen3.5:397b-cloud通义千问 3.5 系列 : 3970 亿397 Billion参数规模 - 云端运行模型- qwen3-coder:30b通义千问 3 编码系列 : 300 亿30 Billion参数规模- qwen3-vl:8b通义千问 3 视觉 - 语言多模态系列 : 80 亿参数8 Billion参数规模按硬件配置选择硬件配置推荐模型特点4GB 显存 / 8GB 内存qwen3.5:2b轻量、快速适合简单问答8GB 显存 / 16GB 内存qwen3.5:9b适合个人电脑本地部署使用16GB 显存 / 32GB 内存qwen3.5:35b能力强大适合深度推理、长文档处理、专业场景处理等按使用场景选择- 通用对话及写作qwen3.5:9b 等- 代码开发qwen3-coder:30b, deepseek-coder-v2:16b 等- 图文理解qwen3-vl:8b 等使用方式选择- 本地模型免费没有限制运行占用本地现显存/内存- 云端模型需要登录 Ollama 账号有额度和限制占用 Ollama 官方服务器资源不占用本地资源常用命令命令作用示例ollama --version查看 Ollama 程序的当前版本号验证安装是否成功ollama --versionollama list列出本地已下载的所有模型ollama listollama pull 模型拉取下载指定的模型到本地ollama pull qwen3:8bollama push 模型将本地的自定义模型推送到远程仓库需登录账号ollama push my-custom-model:latestollama run 模型运行指定模型并进入交互式对话模式若模型未拉取会自动先拉取再运行ollama run qwen3:8bollama run qwen3:8b --verboseollama show 模型查看模型的详细信息ollama show qwen3:8bollama show qwen3:8b --modelfileollama rm 模型从本地删除模型ollama rm qwen3:8bollama ps查看当前正在运行的模型进程及状态ollama psollama create 新模型根据一个 Modelfile 文件基于现有模型创建全新的自定义模型ollama create code-assistant -f Modelfileollama cp 源模型 目标模型复制模型常用于给模型创建别名、备份ollama cp qwen3:8b qwen3:8b-chatollama launch 工具名启动 Ollama 服务 自动配置并打开对应工具ollama launch openclawollama launch claude自定义模型Ollama 允许通过创建 Modelfile打造一个拥有独特个性和能力的专属模型。Modelfile 文件写法参考https://github.com/ollama/ollama/blob/main/docs/modelfile.mdx创建 Modelfile新建一个名为 devQwen 的 Modelfile 的文本文件写入以下内容创建新模型运行新模型通过 Ollama 启动 OpenClaw安装前请先安装 Node.js 与 Git然后运行1ollama launch openclaw或1ollama launch openclaw --model kimi-k2.5:cloudOllama 将自动完成以下操作-安装—— 若未安装 OpenClawOllama 会提示通过 npm 进行安装-安全—— 首次启动时安全须知会说明工具访问存在的相关风险-模型—— 从选择器中挑选本地或云端模型-初始化引导—— Ollama 配置服务提供商、安装网关守护进程、将所选模型设为默认主模型并安装网页搜索与内容抓取插件网页搜索与内容抓取会自动启用-网关—— 在后台启动程序并打开 OpenClaw 终端交互界面运行后可访问 OpenClaw推荐模型- kimi-k2.5:cloud- minimax-m2.7:cloud- glm-5:cloud- glm-4.7-flash推荐上下文长度建议至少采用 64k 的上下文长度。停止运行 OpenClaw1openclaw gateway stop通过 Ollama 启动 Claude Code开源模型可通过 Ollama 兼容 Anthropic 的接口接入 Claude Code支持 qwen3.5、glm-5:cloud、kimi-k2.5:cloud 等模型。Windows 安装 Claude Code1irm https://claude.ai/install.ps1 | iex启动 Claude Code1ollama launch claude或1ollama launch claude --model kimi-k2.5:cloud推荐模型- kimi-k2.5:cloud- glm-5:cloud- minimax-m2.7:cloud- qwen3.5:cloud- glm-4.7-flash- qwen3.5推荐上下文长度建议至少采用 64k 的上下文长度。接口可通过接口调用将 Ollama 集成至你的应用中其安默认访问地址为- 本地地址http://localhost:11434/api- 云端地址https://ollama.com/api在本地访问无需身份验证云端访问则需要进行身份验证。Ollama 支持本地登录和 API Key 两种身份验证方式。流式传输部分 API 接口默认以流式形式返回响应结果采用换行分隔的 JSON 格式application/x-ndjson 内容类型进行传输其形如1234567{model:gemma3,created_at:2025-10-26T17:15:24.097767Z,response:That,done:false}{model:gemma3,created_at:2025-10-26T17:15:24.109172Z,response:,done:false}{model:gemma3,created_at:2025-10-26T17:15:24.121485Z,response:s,done:false}{model:gemma3,created_at:2025-10-26T17:15:24.132802Z,response: a,done:false}{model:gemma3,created_at:2025-10-26T17:15:24.143931Z,response: fantastic,done:false}{model:gemma3,created_at:2025-10-26T17:15:24.155176Z,response: question,done:false}{model:gemma3,created_at:2025-10-26T17:15:24.166576Z,response:!,done:true,done_reason:stop}可通过在请求体中传入{stream: false}来关闭流式传输响应将以application/json 内容类型返回。返回值返回值形如12345678910111213{model:gemma3,created_at:2025-10-17T23:14:07.414671Z,response:Hello! How can I help you today?,done:true,done_reason:stop,total_duration: 174560334,load_duration: 101397084,prompt_eval_count: 11,prompt_eval_duration: 13074791,eval_count: 18,eval_duration: 52479709}常见字段包括- model: 模型名- created_at: 响应创建时间戳- response: 模型生成的文本回复- thinking模型生成的思考输出- done: 生成流程是否完成- done_reason: 生成停止原因性能和模型使用情况的各项指标包括对于返回流式响应的接口下面字段会包含在结束标记为 true 的最后一个数据块中-total_duration生成响应的总时长纳秒-load_duration模型加载所耗费的时长纳秒-prompt_eval_count处理的输入 token 数量-prompt_eval_duration评估提示词所耗费的时长纳秒-eval_count处理的输出 token 数量-eval_duration生成输出 token 所耗费的时长纳秒接口清单接口描述对应 Ollama 命令/api/generate生成文本响应ollama run 模型单次调用/api/chat生成聊天消息ollama run 模型多轮对话/api/embed生成可表征输入文本的向量ollama run 模型 文本/api/tags获取模型列表及其详细信息ollama list/api/ps获取当前正在运行的模型列表ollama ps/api/show查看模型详细信息ollama show 模型/api/create创建自定义模型ollama create 新模型/api/copy复制一个模型创建别名/副本ollama cp 源模型 目标模型/api/pull拉取模型ollama pull 模型/api/push推送模型ollama push 模型/api/delete删除模型ollama rm 模型/api/version获取 Ollama 的版本ollama --version注Ollama 兼容部分 OpenAI 和 Anthropic 的 API具体内容请参考官网文档。安全问题接口的安全风险Ollama 只用于本地调用不建议直接暴露到公网。Ollama 开放的 11434 端口是其 API 服务入口历史上曾因大量用户将端口直接暴露到公网引发过多起严重安全事件。API 无需身份校验和鉴权即可访问谁能连上 11434 端口谁就能控制你的 Ollama。软件自身的安全漏洞Ollama 早期版本中存在多个高危漏洞如果未及时升级这些历史漏洞则仍然存在易被攻击者利用。Modelfile 的安全风险- FROM可指向外部恶意模型可能会指向恶意模型执行恶意代码。- SYSTEM 提示注入SYSTEM 指令定义模型的核心行为规则若 Modelfile 被篡改或包含恶意提示词模型会执行篡改后的恶意指令如诱导泄露数据、执行高危操作。- PARAMETER 被篡改被篡改后会导致模型输出不可控如生成违规内容、无意义文本破坏业务逻辑。解决方案