如何用Ollama构建Modly内置AI助手工具调用循环深入解析附9大工具清单【免费下载链接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU项目地址: https://gitcode.com/GitHub_Trending/mo/modlyModly 是一款运行在本地 GPU 上的桌面 3D 模型生成应用而它内置的AI 聊天助手正是基于Ollama 本地大模型构建的。你无需任何云端 API 密钥——只需在 Modly 中填写 Ollama 服务地址、选一个本地模型就能用一句自然语言让 AI 替你减面、平滑网格、跑工作流。本文将带你完成 Ollama Modly AI 助手的完整配置并深入剖析其背后「工具调用循环Tool Use Loop」的运作机制。一、Modly 的 AI 助手能做什么在 Generate 页面顶部切换到Chat标签就会看到与内置助手的聊天面板源码ChatPanel.tsx。它不是只会聊天的机器人而是一个可以直接操作 3D 场景的 Agent 查询/卸载已下载的 3D 生成模型✂️ 对当前网格减面Decimate、平滑Smooth结果实时刷新到 3D 视图 查看生成任务进度⚡ 列出、执行、甚至从零创建工作流所有能力都由后端文件 api/routers/agent.py 驱动核心就是一个对接 Ollama 的/agent/chat接口。二、一步到位Ollama 配置三步走1. 安装 Ollama 并拉取本地模型在你的电脑上安装 Ollama默认监听http://localhost:11434然后拉取一个小参数量的模型即可例如ollama pull qwen2.5:3b 本地 GPU 显存有限时2B–4B 级别的模型响应更快工具调用准确率也够用。2. 在 Modly 设置页填写 Ollama 地址打开Settings → Agent分区源码AgentSection.tsx配置项说明Ollama URL默认http://localhost:11434Ollama 跑在远程机器时改成对应地址Test 按钮一键测试连通性成功后会列出该服务上所有可用模型Default model下拉框选择默认聊天模型连接成功后出现Thinking 模式Auto模型自决/Enabled强制思考/Disabled最快响应配置会被持久化到前端状态库源码agentStore.ts下次打开聊天面板直接生效。3. 打开 Chat 面板开聊切到 Generate 页的Chat标签输入框旁可以临时切换模型与思考模式。发一句帮我看看当前网格助手就会自动调用工具并给出结果。三、工具调用循环深入解析助手如何动手这是整篇文章的核心。Modly 的 Agent 没有魔法它的本质是一个**模型提议 → 后端执行 → 结果回喂的回合制循环**。1. 九件内置工具后端用一份 OpenAI 兼容格式的TOOLS清单向 Ollama 声明可用函数agent.py#L42-L192工具作用list_models列出已下载、可立即使用的 3D 生成模型unload_models把 3D 生成模型从 GPU 显存中卸载get_mesh_info查看当前视图网格的路径与三角面数decimate_mesh按目标面数减面二次边折叠算法smooth_mesh施加 Laplacian 平滑get_generation_status轮询进行中的生成任务list_workflows列出全部工作流run_workflow按 ID 执行工作流create_workflow用有序步骤链创建新工作流2. 循环的每一回合发生了什么主循环位于 agent.py#L471-L502最多跑10 个回合请求模型把系统提示词 场景上下文 历史消息 TOOLS清单发给 Ollama 的/api/chat模型决策模型要么返回纯文本回复循环结束要么返回一个或多个tool_calls执行工具后端 execute_tool 按工具名分发——该查 API 的查 API该读场景上下文的读上下文结果回喂工具以role: tool的消息追加进对话历史模型看到执行结果后决定是继续调用还是总结收尾。这个设计带来两个好处模型永远基于真实结果说话系统提示词里明确规定Always use tools to act on the scene — never just describe以及错误也能自愈——工具执行失败时错误文本会作为工具结果回喂模型通常会换个参数重试。3. 场景上下文注入助手看得见你的工程每次请求前端会把当前工程状态打包进contextChatPanel.tsx#L328-L337当前网格路径、三角面数、全部工作流列表、已安装扩展含输入/输出类型。后端再把这些拼成两条额外的 system 消息agent.py#L427-L452。正是靠这份上下文助手才能准确调用create_workflow——它只允许使用Available extensions里真实存在的扩展 ID绝不凭空捏造。4. 前端如何消费动作载荷工具执行不仅返回文字还附带一个payload供前端执行 UI 级联动ChatPanel.tsx#L384-L400mesh_update→ 新网格 URL 立刻推入 3D 视图且支持一键Undorun_workflow→ 触发工作流执行进度条实时显示在聊天卡片里create_workflow→ 草稿工作流直接保存到 Workflows 页。工作流一跑完前端还会自动追加一条系统跟进消息让助手主动询问下一步——形成完整的对话闭环。四、一个精巧细节显存自动让位 本地 AI 最头疼的问题是显存争抢。Modly 的处理方式是一旦本轮对话中触发过run_workflow真正吃显存的 3D 生成任务后端会立即调用 Ollama 的keep_alive: 0接口把 LLM 从显存中卸载把整块显存让给 3D 工作流agent.py#L504-L514。这个先干活、后清场的小动作正是桌面端本地 AI 体验与云端 API 的关键差异。五、快速上手清单 ✅安装 Ollamaollama pull一个小模型Modly 设置页填写 Ollama 地址 → 点Test→ 选模型 → 保存Generate 页切到Chat标签用一句话试试把当前网格减到 5000 面进阶玩法让助手用 TripoSG 帮我建一个图片转 3D 的工作流它会替你连好所有节点。整套 Agent 的后端实现只有几百行 Pythonapi/routers/agent.py配合 Ollama 的本地模型能力就是本地 AI 工具调用循环这一模式最简洁的落地样本——值得每个想给自家桌面应用接入本地 AI 助手的开发者一读。【免费下载链接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU项目地址: https://gitcode.com/GitHub_Trending/mo/modly创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何用Ollama构建Modly内置AI助手？工具调用循环深入解析（附9大工具清单）
如何用Ollama构建Modly内置AI助手工具调用循环深入解析附9大工具清单【免费下载链接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU项目地址: https://gitcode.com/GitHub_Trending/mo/modlyModly 是一款运行在本地 GPU 上的桌面 3D 模型生成应用而它内置的AI 聊天助手正是基于Ollama 本地大模型构建的。你无需任何云端 API 密钥——只需在 Modly 中填写 Ollama 服务地址、选一个本地模型就能用一句自然语言让 AI 替你减面、平滑网格、跑工作流。本文将带你完成 Ollama Modly AI 助手的完整配置并深入剖析其背后「工具调用循环Tool Use Loop」的运作机制。一、Modly 的 AI 助手能做什么在 Generate 页面顶部切换到Chat标签就会看到与内置助手的聊天面板源码ChatPanel.tsx。它不是只会聊天的机器人而是一个可以直接操作 3D 场景的 Agent 查询/卸载已下载的 3D 生成模型✂️ 对当前网格减面Decimate、平滑Smooth结果实时刷新到 3D 视图 查看生成任务进度⚡ 列出、执行、甚至从零创建工作流所有能力都由后端文件 api/routers/agent.py 驱动核心就是一个对接 Ollama 的/agent/chat接口。二、一步到位Ollama 配置三步走1. 安装 Ollama 并拉取本地模型在你的电脑上安装 Ollama默认监听http://localhost:11434然后拉取一个小参数量的模型即可例如ollama pull qwen2.5:3b 本地 GPU 显存有限时2B–4B 级别的模型响应更快工具调用准确率也够用。2. 在 Modly 设置页填写 Ollama 地址打开Settings → Agent分区源码AgentSection.tsx配置项说明Ollama URL默认http://localhost:11434Ollama 跑在远程机器时改成对应地址Test 按钮一键测试连通性成功后会列出该服务上所有可用模型Default model下拉框选择默认聊天模型连接成功后出现Thinking 模式Auto模型自决/Enabled强制思考/Disabled最快响应配置会被持久化到前端状态库源码agentStore.ts下次打开聊天面板直接生效。3. 打开 Chat 面板开聊切到 Generate 页的Chat标签输入框旁可以临时切换模型与思考模式。发一句帮我看看当前网格助手就会自动调用工具并给出结果。三、工具调用循环深入解析助手如何动手这是整篇文章的核心。Modly 的 Agent 没有魔法它的本质是一个**模型提议 → 后端执行 → 结果回喂的回合制循环**。1. 九件内置工具后端用一份 OpenAI 兼容格式的TOOLS清单向 Ollama 声明可用函数agent.py#L42-L192工具作用list_models列出已下载、可立即使用的 3D 生成模型unload_models把 3D 生成模型从 GPU 显存中卸载get_mesh_info查看当前视图网格的路径与三角面数decimate_mesh按目标面数减面二次边折叠算法smooth_mesh施加 Laplacian 平滑get_generation_status轮询进行中的生成任务list_workflows列出全部工作流run_workflow按 ID 执行工作流create_workflow用有序步骤链创建新工作流2. 循环的每一回合发生了什么主循环位于 agent.py#L471-L502最多跑10 个回合请求模型把系统提示词 场景上下文 历史消息 TOOLS清单发给 Ollama 的/api/chat模型决策模型要么返回纯文本回复循环结束要么返回一个或多个tool_calls执行工具后端 execute_tool 按工具名分发——该查 API 的查 API该读场景上下文的读上下文结果回喂工具以role: tool的消息追加进对话历史模型看到执行结果后决定是继续调用还是总结收尾。这个设计带来两个好处模型永远基于真实结果说话系统提示词里明确规定Always use tools to act on the scene — never just describe以及错误也能自愈——工具执行失败时错误文本会作为工具结果回喂模型通常会换个参数重试。3. 场景上下文注入助手看得见你的工程每次请求前端会把当前工程状态打包进contextChatPanel.tsx#L328-L337当前网格路径、三角面数、全部工作流列表、已安装扩展含输入/输出类型。后端再把这些拼成两条额外的 system 消息agent.py#L427-L452。正是靠这份上下文助手才能准确调用create_workflow——它只允许使用Available extensions里真实存在的扩展 ID绝不凭空捏造。4. 前端如何消费动作载荷工具执行不仅返回文字还附带一个payload供前端执行 UI 级联动ChatPanel.tsx#L384-L400mesh_update→ 新网格 URL 立刻推入 3D 视图且支持一键Undorun_workflow→ 触发工作流执行进度条实时显示在聊天卡片里create_workflow→ 草稿工作流直接保存到 Workflows 页。工作流一跑完前端还会自动追加一条系统跟进消息让助手主动询问下一步——形成完整的对话闭环。四、一个精巧细节显存自动让位 本地 AI 最头疼的问题是显存争抢。Modly 的处理方式是一旦本轮对话中触发过run_workflow真正吃显存的 3D 生成任务后端会立即调用 Ollama 的keep_alive: 0接口把 LLM 从显存中卸载把整块显存让给 3D 工作流agent.py#L504-L514。这个先干活、后清场的小动作正是桌面端本地 AI 体验与云端 API 的关键差异。五、快速上手清单 ✅安装 Ollamaollama pull一个小模型Modly 设置页填写 Ollama 地址 → 点Test→ 选模型 → 保存Generate 页切到Chat标签用一句话试试把当前网格减到 5000 面进阶玩法让助手用 TripoSG 帮我建一个图片转 3D 的工作流它会替你连好所有节点。整套 Agent 的后端实现只有几百行 Pythonapi/routers/agent.py配合 Ollama 的本地模型能力就是本地 AI 工具调用循环这一模式最简洁的落地样本——值得每个想给自家桌面应用接入本地 AI 助手的开发者一读。【免费下载链接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU项目地址: https://gitcode.com/GitHub_Trending/mo/modly创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考