尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

OpenCode 本地模型 4 步跑通:Ollama 接入离线 AI 编码

OpenCode 本地模型 4 步跑通:Ollama 接入离线 AI 编码 OpenCode 本地模型 4 步跑通Ollama 接入离线 AI 编码【免费下载链接】termaiA powerful AI coding agent. Built for the terminal.项目地址: https://gitcode.com/gh_mirrors/te/termai上周在高铁上我想顺手把手头一个 Go 项目里的 bug 改了打开 OpenCode却发现云端那几个 key 全没了网请求卡在一动不动。那一刻我才下决心给 OpenCode 本地模型配上一份把模型直接跑进自己的机器——断网也能干活。这篇就带你把 Ollama 接进来四步跑通。把模型搬进本地你能换回四样东西OpenCode 是一个用 Go 写的终端 AI 助手跑在 TUI 里能读写文件、执行命令、改代码。它默认接的是云端 API但完全可以把模型换成本地那份。换来的是隐私代码不出机器敏感逻辑不离开你的磁盘成本硬件一次性投入不再按 token 持续计费离线断网、内网、合规隔离环境照常干活可控量化档位、上下文、推理强度参数随你调动手前先把选型和门槛定下来别急着敲命令先问自己两件事机器够不够、用哪个工具。这两点没定清楚后面全是返工。最低配置16GB 内存、10GB 可用磁盘、支持 AVX2 的现代 CPU推荐配置32GB 内存以上NVIDIA GPU配 CUDA或 Apple Silicon走 Metal工具三选一各一句话定位Ollama命令行一键拉模型、起服务最省心本文主角LM Studio带图形界面适合不想敲命令的人vLLM面向高吞吐服务多卡部署才显出威力新手直接选 Ollama 就好。装 OpenCode 有两条路# 方式一从源码编译最稳 git clone https://gitcode.com/gh_mirrors/te/termai cd termai go build -o opencode sudo mv opencode /usr/local/bin/# 方式二仓库自带安装脚本自动下载对应平台二进制 bash install验一下opencode --version能打印版本号就算装好了。四步跑通第一个本地模型第 1 步先把服务起起来ollama pull llama3.1:8b ollama serveOllama 会在11434端口起一个本地服务。另开一个终端探一下curl http://localhost:11434/v1/models你会看到一段 JSONid字段就是模型名比如llama3.1:8b。记住这个名字待会儿要填进配置里。第 2 步把服务指给 OpenCodeexport LOCAL_ENDPOINThttp://localhost:11434/v1OpenCode 靠这个变量找到你的服务并自动去拉模型列表先试 LM Studio 的api/v0/models没拉到再试 OpenAI 风格的v1/models发现逻辑在 internal/llm/models/local.go。验证一下echo $LOCAL_ENDPOINT你会看到http://localhost:11434/v1。第 3 步写进 JSON 配置OpenCode 会找~/.opencode.json全局或项目下的.opencode.json加载与合并的逻辑在 internal/config/。新建或编辑全局配置{ providers: { local: { disabled: false } }, agents: { coder: { model: local.llama3.1:8b, maxTokens: 4096, reasoningEffort: medium } } }关键就两点model必须带local.前缀且后半段要和上一步 curl 到的id完全一致。第 4 步验证它真的在本地跑opencode -p 用 Go 写一个求斐波那契第 n 项的函数你会看到模型直接吐出函数代码全程不碰任何云端 ✅。换模型只改model这一行下面三个都可直接套用{ model: local.granite3:2b, maxTokens: 4096, reasoningEffort: medium } { model: local.llama3.1:8b, maxTokens: 4096, reasoningEffort: high } { model: local.mistral:7b, maxTokens: 4096, reasoningEffort: medium }让本地模型更快、更省几条老手经验都是踩过坑才信量化优先8b 跑不动就先上 4-bit 量化版内存立省一半速度翻倍硬件加速NVIDIA 装 CUDAAMD 走 ROCmApple Silicon 用 Metal别让它纯 CPU 硬算腾内存跑模型前关掉浏览器、IDE 这些内存大胃王给推理留足空间选对规模2B 够用的任务就别上 7B/8B够快比够聪明更省心给不同任务分配不同模型本地跑模型贵那就让大模型干重活、小模型干轻活互不拖慢{ agents: { coder: { model: local.llama3.1:8b, maxTokens: 4000 }, summarizer: { model: local.granite3:2b, maxTokens: 1000 }, title: { model: local.mistral:7b, maxTokens: 80 } } }提醒一句title这个 agent 的maxTokens在代码里被强制设成 80你改多大它都会落回 80填 80 只是看着顺眼。想接不在默认列表里的模型可以用 MCPModel Context Protocol一套让助手对接外部工具的标准协议。在 internal/config/ 的mcpServers里加一段骨架就能跑起来细节这里不展开{ mcpServers: { my-model: { type: stdio, command: /path/to/server, args: [--port, 1236] } } }卡住了照这份清单排查连不上本地服务→ 三步排查curl $LOCAL_ENDPOINT/models看服务活着没echo $LOCAL_ENDPOINT核端口和路径对不对查防火墙确认端口没被拦响应太慢→ 三步排查换量化或更小的模型把reasoningEffort降到low关掉抢内存的程序给推理腾地方改了配置不生效→ 三步排查jq . ~/.opencode.json验 JSON 有没有语法错确认模型id带local.前缀且与服务列表一致重启 opencode 再试一次收尾数据留在本地、断网照常干活、成本一次到位——这三件事本地模型都给你办到了。再往后想折腾可以往 MCP 和量化档位上深挖。官方文档README.md配置加载与合并internal/config/本地模型发现internal/llm/models/local.go跑通了顺手提个 PR没跑通也欢迎把报错原样贴过来一起把它调通。【免费下载链接】termaiA powerful AI coding agent. Built for the terminal.项目地址: https://gitcode.com/gh_mirrors/te/termai创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表