Project NOMAD跨主机AI部署远程Ollama与OLLAMA_HOST配置教程【免费下载链接】project-nomadProject NOMAD is an offline-first knowledge and education server. Wikipedia, thousands of books, courses, maps, and optional local AI, all running on hardware you own with no internet required.项目地址: https://gitcode.com/GitHub_Trending/pr/project-nomadProject NOMAD 是一款离线优先offline-first的知识与教育服务器内置维基百科、书籍、课程、地图并支持完全离线的本地 AI 助手。本教程讲解一个非常实用的进阶配置远程 Ollama 部署——让 AI 模型运行在另一台性能更强的机器上并通过OLLAMA_HOST环境变量与 NOMAD 指令中心Command Center跨主机连接全程无需互联网。️为什么要把 Ollama 部署到其他主机默认情况下NOMAD 安装 AI Assistant 时会把 Ollama 跑在本机 Docker 容器里。但你的场景可能不同NOMAD 跑在树莓派 / 旧笔记本上而局域网里另有一台带 NVIDIA 显卡的台式机一台机器既要当知识库服务器又要跑大模型内存和磁盘吃紧想让多台 NOMAD 共享同一个远程 AI 后端。远程部署方案正好解决这些问题模型推理放在肌肉机器上NOMAD 负责内容存储、知识库检索RAG和对话界面。准备工作安装 Project NOMAD 与 AI Assistant先确保 NOMAD 已在指挥机上跑起来若仓库是 clone 来的地址为https://gitcode.com/GitHub_Trending/pr/project-nomadgit clone https://gitcode.com/GitHub_Trending/pr/project-nomad cd project-nomad/install bash install_nomad.sh安装脚本位于 install/install_nomad.sh。安装完成后通过浏览器的 Easy Setup快速设置向导选择包含AI Assistant的层级并安装。官方使用文档见 admin/docs/getting-started.md其中专门介绍了 AI Assistant 与知识库功能。 提示如果指挥机本身不需要跑模型装完 AI Assistant 后再执行本文的远程配置即可——NOMAD 会自动停止本机 Ollama 容器把 GPU 和 11434 端口让出来。远程 Ollama 部署三步走第一步在远程主机上启动 Ollama 并绑定 0.0.0.0Ollama 默认只监听127.0.0.1本机回环地址其他机器根本无法访问。关键就是设置OLLAMA_HOST0.0.0.0让服务监听网卡上的所有地址# Linux / macOS临时启动仅当前会话生效 OLLAMA_HOST0.0.0.0 ollama serve如需长期生效建议修改 systemd 服务或创建 systemd 覆盖配置sudo systemctl edit ollama写入[Service] EnvironmentOLLAMA_HOST0.0.0.0然后重启服务。此时远程机器的11434端口Ollama 默认端口即对局域网开放。第二步在 NOMAD 中填入远程 Ollama 地址登录 NOMAD 指令中心进入Settings → AI Assistant模型管理页页面底部有Remote Connection远程连接区域前端实现位于 admin/inertia/pages/settings/models.tsx。在Remote Ollama/OpenAI API URL输入框中填写远程主机的地址例如http://192.168.1.100:11434点击Save Test按钮。NOMAD 会立即请求远程服务的/v1/models接口做连通性测试——这一步逻辑在 admin/app/controllers/ollama_controller.ts 中实现测试失败会明确提示你请确保以OLLAMA_HOST0.0.0.0启动 Ollama。第三步确认本地容器已让位测试通过后NOMAD 会自动完成以下动作同样在 ollama_controller.ts 中把远程 URL 存入配置KV Store 键ai.remoteOllamaUrl停止本机 nomad_ollama 容器避免与远程主机争抢 GPU 和端口若向量数据库Qdrant尚未安装自动补装知识库 RAG 功能依赖它将 AI Assistant 标记为已安装并触发 NOMAD 文档自动导入。配置完成后的使用体验打开AI Chat页面直接提问即可——对话流量经指挥机转发到远程 Ollama 推理模型列表、模型下载进度都照常显示模型下载走的是远程 Ollama 原生的/api/pull流式接口进度由 admin/app/services/ollama_service.ts 聚合后实时推送到界面。上传 PDF 或文本文件到Knowledge Base文档会被向量化存入 QdrantAI 回答时即可引用你上传的资料——整个检索 推理链路在局域网内完成不止 Ollama任意 OpenAI 兼容服务都支持Remote Connection 输入框实际接受任何 OpenAI 兼容 API的地址官方文档见 admin/docs/getting-started.md 与 README.md说明 LM Studio、llama.cpp 等均可接入例如 LM Studio 常用http://192.168.1.100:1234注意两点差异非 Ollama 后端如 LM Studio不支持从 NOMAD 内下载模型需在对应应用里手动加载这类后端的think思考链等 Ollama 专属能力不可用界面会自动降级。常见问题排查症状可能原因与解决Save Test 提示无法连接远程 Ollama 未设置OLLAMA_HOST0.0.0.0或防火墙/安全组未放行 11434 端口连上了但聊天报错远程主机上尚未ollama pull任何模型或模型名与页面选择不一致想让本机 Ollama 重新接管在 Remote Connection 区域点击ClearNOMAD 会自动恢复启动本地 nomad_ollama 容器担心误连到云上元数据地址无需担心NOMAD 对远程 URL 做了 SSRF 防护校验会拦截云元数据地址 安全提示OLLAMA_HOST0.0.0.0意味着服务对网卡开放请务必只在受信任的局域网内使用不要把 11434 端口暴露到公网。小结通过OLLAMA_HOST0.0.0.0一行环境变量加上 NOMAD 设置页的一个 URL你就拥有了指挥机 推理机分离的完整离线 AI 方案NOMAD 负责离线知识与教育内容、知识库检索远程 Ollama 负责模型推理两边各司其职且全程不依赖互联网。【免费下载链接】project-nomadProject NOMAD is an offline-first knowledge and education server. Wikipedia, thousands of books, courses, maps, and optional local AI, all running on hardware you own with no internet required.项目地址: https://gitcode.com/GitHub_Trending/pr/project-nomad创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Project NOMAD跨主机AI部署：远程Ollama与OLLAMA_HOST配置教程
Project NOMAD跨主机AI部署远程Ollama与OLLAMA_HOST配置教程【免费下载链接】project-nomadProject NOMAD is an offline-first knowledge and education server. Wikipedia, thousands of books, courses, maps, and optional local AI, all running on hardware you own with no internet required.项目地址: https://gitcode.com/GitHub_Trending/pr/project-nomadProject NOMAD 是一款离线优先offline-first的知识与教育服务器内置维基百科、书籍、课程、地图并支持完全离线的本地 AI 助手。本教程讲解一个非常实用的进阶配置远程 Ollama 部署——让 AI 模型运行在另一台性能更强的机器上并通过OLLAMA_HOST环境变量与 NOMAD 指令中心Command Center跨主机连接全程无需互联网。️为什么要把 Ollama 部署到其他主机默认情况下NOMAD 安装 AI Assistant 时会把 Ollama 跑在本机 Docker 容器里。但你的场景可能不同NOMAD 跑在树莓派 / 旧笔记本上而局域网里另有一台带 NVIDIA 显卡的台式机一台机器既要当知识库服务器又要跑大模型内存和磁盘吃紧想让多台 NOMAD 共享同一个远程 AI 后端。远程部署方案正好解决这些问题模型推理放在肌肉机器上NOMAD 负责内容存储、知识库检索RAG和对话界面。准备工作安装 Project NOMAD 与 AI Assistant先确保 NOMAD 已在指挥机上跑起来若仓库是 clone 来的地址为https://gitcode.com/GitHub_Trending/pr/project-nomadgit clone https://gitcode.com/GitHub_Trending/pr/project-nomad cd project-nomad/install bash install_nomad.sh安装脚本位于 install/install_nomad.sh。安装完成后通过浏览器的 Easy Setup快速设置向导选择包含AI Assistant的层级并安装。官方使用文档见 admin/docs/getting-started.md其中专门介绍了 AI Assistant 与知识库功能。 提示如果指挥机本身不需要跑模型装完 AI Assistant 后再执行本文的远程配置即可——NOMAD 会自动停止本机 Ollama 容器把 GPU 和 11434 端口让出来。远程 Ollama 部署三步走第一步在远程主机上启动 Ollama 并绑定 0.0.0.0Ollama 默认只监听127.0.0.1本机回环地址其他机器根本无法访问。关键就是设置OLLAMA_HOST0.0.0.0让服务监听网卡上的所有地址# Linux / macOS临时启动仅当前会话生效 OLLAMA_HOST0.0.0.0 ollama serve如需长期生效建议修改 systemd 服务或创建 systemd 覆盖配置sudo systemctl edit ollama写入[Service] EnvironmentOLLAMA_HOST0.0.0.0然后重启服务。此时远程机器的11434端口Ollama 默认端口即对局域网开放。第二步在 NOMAD 中填入远程 Ollama 地址登录 NOMAD 指令中心进入Settings → AI Assistant模型管理页页面底部有Remote Connection远程连接区域前端实现位于 admin/inertia/pages/settings/models.tsx。在Remote Ollama/OpenAI API URL输入框中填写远程主机的地址例如http://192.168.1.100:11434点击Save Test按钮。NOMAD 会立即请求远程服务的/v1/models接口做连通性测试——这一步逻辑在 admin/app/controllers/ollama_controller.ts 中实现测试失败会明确提示你请确保以OLLAMA_HOST0.0.0.0启动 Ollama。第三步确认本地容器已让位测试通过后NOMAD 会自动完成以下动作同样在 ollama_controller.ts 中把远程 URL 存入配置KV Store 键ai.remoteOllamaUrl停止本机 nomad_ollama 容器避免与远程主机争抢 GPU 和端口若向量数据库Qdrant尚未安装自动补装知识库 RAG 功能依赖它将 AI Assistant 标记为已安装并触发 NOMAD 文档自动导入。配置完成后的使用体验打开AI Chat页面直接提问即可——对话流量经指挥机转发到远程 Ollama 推理模型列表、模型下载进度都照常显示模型下载走的是远程 Ollama 原生的/api/pull流式接口进度由 admin/app/services/ollama_service.ts 聚合后实时推送到界面。上传 PDF 或文本文件到Knowledge Base文档会被向量化存入 QdrantAI 回答时即可引用你上传的资料——整个检索 推理链路在局域网内完成不止 Ollama任意 OpenAI 兼容服务都支持Remote Connection 输入框实际接受任何 OpenAI 兼容 API的地址官方文档见 admin/docs/getting-started.md 与 README.md说明 LM Studio、llama.cpp 等均可接入例如 LM Studio 常用http://192.168.1.100:1234注意两点差异非 Ollama 后端如 LM Studio不支持从 NOMAD 内下载模型需在对应应用里手动加载这类后端的think思考链等 Ollama 专属能力不可用界面会自动降级。常见问题排查症状可能原因与解决Save Test 提示无法连接远程 Ollama 未设置OLLAMA_HOST0.0.0.0或防火墙/安全组未放行 11434 端口连上了但聊天报错远程主机上尚未ollama pull任何模型或模型名与页面选择不一致想让本机 Ollama 重新接管在 Remote Connection 区域点击ClearNOMAD 会自动恢复启动本地 nomad_ollama 容器担心误连到云上元数据地址无需担心NOMAD 对远程 URL 做了 SSRF 防护校验会拦截云元数据地址 安全提示OLLAMA_HOST0.0.0.0意味着服务对网卡开放请务必只在受信任的局域网内使用不要把 11434 端口暴露到公网。小结通过OLLAMA_HOST0.0.0.0一行环境变量加上 NOMAD 设置页的一个 URL你就拥有了指挥机 推理机分离的完整离线 AI 方案NOMAD 负责离线知识与教育内容、知识库检索远程 Ollama 负责模型推理两边各司其职且全程不依赖互联网。【免费下载链接】project-nomadProject NOMAD is an offline-first knowledge and education server. Wikipedia, thousands of books, courses, maps, and optional local AI, all running on hardware you own with no internet required.项目地址: https://gitcode.com/GitHub_Trending/pr/project-nomad创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考