尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

Continue 离线编码:用 Ollama 在断网环境跑通本地 AI 辅助

Continue 离线编码:用 Ollama 在断网环境跑通本地 AI 辅助 Continue 离线编码用 Ollama 在断网环境跑通本地 AI 辅助【免费下载链接】continueopen-source coding agent项目地址: https://gitcode.com/GitHub_Trending/co/continueContinue 离线编码把补全和对话都跑在你本机。这篇指南带你用 Ollama 配好本地模型10 分钟内让断网环境照样写代码。解决哪些断网痛点高铁、机场网络时断时续云端模型掉线本地模型照常响应内网与外网隔离本地 LLM 代码补全 让敏感代码不出机器不想把密钥交给云端服务模型自己拉、自己跑从零搭好 Continue 离线环境Step 1 安装 Ollama 并启动服务macOS 用 HomebrewLinux 用官方脚本# macOS brew install ollama # Linux curl -fsSL https://ollama.ai/install.sh | sh ollama serve用curl http://localhost:11434验证返回 Ollama is running 即就绪。Step 2 拉取两个模型补全用小的对话用大的ollama pull qwen2.5-coder:7b ollama pull qwen2.5-coder:1.5b ollama listStep 3 在 IDE 安装 Continue 扩展离线环境可提前下载 .vsix进入设置关闭 Allow Anonymous Telemetry断网时不会卡在云端遥测请求上。Step 4 编辑~/.continue/configs/config.yaml把两个模型挂到对应角色models: - name: local-chat provider: ollama model: qwen2.5-coder:7b apiBase: http://localhost:11434 roles: [chat, edit] - name: local-complete provider: ollama model: qwen2.5-coder:1.5b roles: [autocomplete]Step 5 重启 IDE模型下拉框选 local-chat发一句对话确认能出字。一张表选对模型参数选项推荐值一句话理由providerollama走本地 11434 端口断网也能响应model对话qwen2.5-coder:7b8GB 内存可跑代码生成质量均衡model补全qwen2.5-coder:1.5b参数少延迟低打字时实时触发不卡顿apiBasehttp://localhost:11434Ollama 默认地址远程机器改成对应 IPcontextLength4096Continue 默认上下文偏长调小防内存不足拿不准就选provider: ollamamodel: qwen2.5-coder:7b先ollama pull跑通再谈调参。把本地模型用到极致用 AUTODETECT 免配置model 填AUTODETECTContinue 直接扫描ollama list结果本地装了什么就能切什么按角色分大小模型autocomplete 挂 1.5bchat/edit 挂 7b补全延迟和对话质量各取所需用 Modelfile 精调FROM qwen2.5-coder:7b加PARAMETER num_ctx 4096、PARAMETER num_gpu 35控制上下文和 GPU 卸载层数用 ollama ps 盯内存响应变慢时先看哪个模型占着显存必要时ollama stop model释放完全断网前关遥测遥测开着每次请求会先等云端超时体感更慢查表排掉常见报错症状大概率原因修复404 model xxx not found模型没 pull 或 tag 不一致ollama pull qwen2.5-coder:7btag 必须与配置一致Model requires more system memory to run上下文窗口太大配置里把contextLength降到 2048发送后长时间无响应Ollama 服务没启动curl http://localhost:11434不通就重跑ollama serveAgent 模式提示不支持工具模型不支持 tool_use换llama3.1:8b或配置加capabilities: [tool_use]现在可以断网开工配置生效后补全、编辑、对话全走本地 Ollama拔网线也能继续干活。Ollama 完整指南docs/guides/ollama-guide.mdx断网部署清单docs/guides/running-continue-without-internet.mdxOllama 集成源码core/llm/llms/Ollama.ts【免费下载链接】continueopen-source coding agent项目地址: https://gitcode.com/GitHub_Trending/co/continue创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表