【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载agent-vision-toolkit是一个为纯文本模型装上眼睛的视觉工具箱它提供 glance、ground、detect、trace、crop 五个本地 CLI 视觉工具让基于 DeepSeek 等纯文本模型的 Agent 也能完成图片问答、元素定位、长截图 OCR、前端 UI 还原和 GUI 自动化等视觉任务。本文带你逐个搞懂这五个工具的定位、差异和适用场景帮你快速选对工具、少走弯路。五大工具一张表先对号入座在深入细节之前先记住项目自带技能文档里最精华的一张选择表见 skills/vision-skills/SKILL.md你在回答的问题该用的工具这张图显示了什么 / 说了什么glanceX 在哪里——你能叫出名字的具体事物ground图里所有的 X 有哪些——某一类事物的全部实例detect它的精确形状、尺寸、偏移是多少trace把这个框单独裁出来存成图片crop一句话记忆法glance回答是什么ground和detect回答在哪里trace回答多大多准crop负责剪下来备用。下面这张图就是一个纯文本模型 Agent 借助这套工具回答前端设计问题的真实效果——它看懂了截图里的背景风格还能给出判断依据和 CSS 实现思路glance 图片问答这张图画了什么glance是五个工具中最通用的一个源码入口在 bin/glance它把图片发给配置好的视觉模型返回文字描述、问答结果或逐字 OCR 文本。glance screenshot.png # 整体详细描述 glance screenshot.png -q 这张图的主题是什么 # 针对性提问 glance screenshot.png --ocr # 逐字 OCR不遗漏字符 glance img1.png img2.png -q ... # 多图对比一次调用几个实用细节--region X1,Y1,X2,Y2是放大镜只上传裁剪区域小字和小图标瞬间变得清晰。配合ground的坐标框使用效果最佳。多图对比要在一次调用里传完两次单独调用无法看到彼此等于拿两段各自的理解做对比容易产生幻觉。长截图别硬 OCR滚动页面或聊天记录要走专门的长截图工作流 scripts/long_screenshot_ocr.py它会自动找安全切割带、分块调用glance、合并重叠并做边界审计。下图展示了glance多轮问答的真实流程Agent 先用glance整体观察游戏地图再逐步深入分析文字信息整个看图读图过程都发生在纯文本模型会话中ground 元素定位X 在哪里当你想问发送按钮在哪这种能叫出名字的具体目标时用 ground.py。它让视觉模型返回 0-1000 网格上的坐标框再换算回原图像素输出形如$ ground screenshot.png Send button x1: 1067, y1: 841, x2: 1108, y2: 881几个关键点它返回的是**把手handle而不只是答案**坐标框可以直接喂给glance --region放大细看、喂给crop裁出素材、喂给点击 API 执行操作。--region X1,Y1,X2,Y2可把搜索限定在某个框内——这就是缩小再找的 zoom-in 路径专门对付小目标。如果返回了多个带编号的框说明你的描述匹配到了不止一个元素加一点区分信息文字内容、位置、所在区块再问一次。注意框是 0-1000 网格换算来的最后几个像素不保证精确——够用于裁剪、点击、比较位置需要像素级精确时请交给trace。ground的上限有多高下图是 DeepSeek 借助它自主下国际象棋通过ground定位棋盘格中心坐标直接执行走子最终完成将军——纯文本模型靠它看见了棋盘detect 元素盘点图里有哪些 Xground找的是一个具体目标detectdetect.py找的是某一类事物的全部实例输出带编号的清单每项包含精确可见文字和像素框detect page.png # 默认盘点所有 UI 元素 detect page.png buttons # 只找按钮 detect page.png --region 238,600,953,671 # 只盘点某个区域 detect frame.png text --fail-on-empty # 没检测到文本时以退出码 1 失败两个容易踩的坑默认类别面向 UI 截图按钮、链接、输入框、图标等。分析照片或视频帧时要显式传objects或text这样的类别避免被默认的 UI 框架带偏。整屏扫描只是快速初稿密集界面上数量会有波动。要完整先盘点布局区块再对每个区块detect --region。--fail-on-empty适合写进脚本没检测到元素时以退出码 1 结束方便自动化流程判断。trace 几何矢量化像素级精确的形状前三个工具的答案都来自视觉模型的目测而tracebin/trace完全本地运行、不经过任何视觉 API它从真实像素出发确定性地把扁平、高对比度的图形还原为中心线并拟合为可编辑的 SVG 图元circle、line、polyline、polygon。trace icon.png -o icon.svg # 黑白样条 SVG trace screenshot.png --region 1563,514,1668,621 -o icon.svg # 先裁区域 trace boxy.png --polygon # 方框图 / 线框图模式为什么重要——视觉模型会把颜色、间距、偏移说得模棱两可自信地描述出不存在的边框但trace给出的坐标直接来自像素放大镜图标就是一个circle加一条line而不是沿墨水两侧绕圈的噪声路径。小图会被自动放大后再追踪30px 的小图标和整页截图同样好处理。在 UI 还原工作流 里trace常与ground、crop、html_shot配合把截图里的图形转成可编辑 SVG再用像素对比反复校准。下面这对图就是一句话把信息图截图重建成 HTML/CSS的效果——左为原始截图右为还原结果crop 区域裁剪为后续工具备好素材cropbin/crop同样本地运行把ground/detect输出的X1,Y1,X2,Y2像素框直接裁成独立文件坐标自动收敛到图片边界内。crop screenshot.png --region 1563,514,1668,621 -o send-button.png crop screenshot.png --region 1563,514,1668,621 --scale 4 -o icon.png它的核心价值有两个一次裁剪多次复用当同一个框要先后喂给pixel_diff、dominant_colors、trace等多个工具时裁一次存成文件省掉每次在内存里重复裁剪。--scale N放大小目标对ground/trace看不清的小图标用--scale 4放大后再定位记住它返回的坐标在放大后的坐标系里映射回原图要除以 N。五大工具怎么选组合才是生产力单看每个工具都不复杂真正强大的是串联。技能文档SKILL.md总结的方法论是由粗到细先整图一遍glance了解布局和元素分布对关心的元素ground定位再glance --region放大细看像素级事实精确颜色、偏移、尺寸永远不要听文字描述交给trace或crop后的像素工具。举个真实例子Agent 只拿到一张截图和一句为什么 4 变 3 之后字段名称不符合预期它用glance读图理解卡片字段再结合代码定位出数据层与展示层的键名不一致——整个过程没有多模态模型参与主推理在 GUI 自动化场景见 references/gui.md中典型循环是ground定位控件 → 执行一个动作 → 重新截图 →glance验证状态 → 再继续。五个工具各就各位就像一支分工明确的眼睛小队。安装快速上手三个环境变量指向任意支持 OpenAI Chat Completions 的视觉 API 即可开始使用glance仅需 Python 3.11ground/detect/crop需pillowtrace需pillowvtracergit clone https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit export PATH$PWD/agent-vision-toolkit/bin:$PATH配置VISION_API_KEY、VISION_BASE_URL、VISION_MODEL到~/.config/agent-vision-toolkit/env后再把技能目录 skills/vision-skills/ 复制到你的 Agent 技能目录Agent 就能自己学会何时调用哪个工具。想更进一步让粘贴进对话的图片直接可用可参考 AGENT_INSTALL.md 接入 Codex、Claude Code、Pi、OpenCode 的无缝集成层。选型速记问内容用glance找一个用ground数一类用detect要精确用trace存素材用crop——答案在哪工具就在哪。赞分享【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载相关推荐该选哪个 AI Skillyao-open-skills 15 大能力场景选型完全指南该选哪个 AI Skillyao open skills 15 大能力场景选型完全指南 yao open skills 是一个收录了 15 个可复用 AI Smcp-searxng 安装方式全解NPX、npm 与 Docker 到底该选哪一个mcp searxng 安装方式全解NPX、npm 与 Docker 到底该选哪一个 mcp searxng 是一个基于 SearXNG 的隐私友好型网络搜索Bootstrap与Tailwind CSS正面交锋2024年该选哪个Bootstrap与Tailwind CSS正面交锋2024年该选哪个 你还在为前端框架选择发愁吗Bootstrap和Tailwind CSS作为当前最流行前端UI组件创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 agent-vision-toolkit 五大视觉 CLI 全解：glance、ground、detect、trace、crop 该选哪个
【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载agent-vision-toolkit是一个为纯文本模型装上眼睛的视觉工具箱它提供 glance、ground、detect、trace、crop 五个本地 CLI 视觉工具让基于 DeepSeek 等纯文本模型的 Agent 也能完成图片问答、元素定位、长截图 OCR、前端 UI 还原和 GUI 自动化等视觉任务。本文带你逐个搞懂这五个工具的定位、差异和适用场景帮你快速选对工具、少走弯路。五大工具一张表先对号入座在深入细节之前先记住项目自带技能文档里最精华的一张选择表见 skills/vision-skills/SKILL.md你在回答的问题该用的工具这张图显示了什么 / 说了什么glanceX 在哪里——你能叫出名字的具体事物ground图里所有的 X 有哪些——某一类事物的全部实例detect它的精确形状、尺寸、偏移是多少trace把这个框单独裁出来存成图片crop一句话记忆法glance回答是什么ground和detect回答在哪里trace回答多大多准crop负责剪下来备用。下面这张图就是一个纯文本模型 Agent 借助这套工具回答前端设计问题的真实效果——它看懂了截图里的背景风格还能给出判断依据和 CSS 实现思路glance 图片问答这张图画了什么glance是五个工具中最通用的一个源码入口在 bin/glance它把图片发给配置好的视觉模型返回文字描述、问答结果或逐字 OCR 文本。glance screenshot.png # 整体详细描述 glance screenshot.png -q 这张图的主题是什么 # 针对性提问 glance screenshot.png --ocr # 逐字 OCR不遗漏字符 glance img1.png img2.png -q ... # 多图对比一次调用几个实用细节--region X1,Y1,X2,Y2是放大镜只上传裁剪区域小字和小图标瞬间变得清晰。配合ground的坐标框使用效果最佳。多图对比要在一次调用里传完两次单独调用无法看到彼此等于拿两段各自的理解做对比容易产生幻觉。长截图别硬 OCR滚动页面或聊天记录要走专门的长截图工作流 scripts/long_screenshot_ocr.py它会自动找安全切割带、分块调用glance、合并重叠并做边界审计。下图展示了glance多轮问答的真实流程Agent 先用glance整体观察游戏地图再逐步深入分析文字信息整个看图读图过程都发生在纯文本模型会话中ground 元素定位X 在哪里当你想问发送按钮在哪这种能叫出名字的具体目标时用 ground.py。它让视觉模型返回 0-1000 网格上的坐标框再换算回原图像素输出形如$ ground screenshot.png Send button x1: 1067, y1: 841, x2: 1108, y2: 881几个关键点它返回的是**把手handle而不只是答案**坐标框可以直接喂给glance --region放大细看、喂给crop裁出素材、喂给点击 API 执行操作。--region X1,Y1,X2,Y2可把搜索限定在某个框内——这就是缩小再找的 zoom-in 路径专门对付小目标。如果返回了多个带编号的框说明你的描述匹配到了不止一个元素加一点区分信息文字内容、位置、所在区块再问一次。注意框是 0-1000 网格换算来的最后几个像素不保证精确——够用于裁剪、点击、比较位置需要像素级精确时请交给trace。ground的上限有多高下图是 DeepSeek 借助它自主下国际象棋通过ground定位棋盘格中心坐标直接执行走子最终完成将军——纯文本模型靠它看见了棋盘detect 元素盘点图里有哪些 Xground找的是一个具体目标detectdetect.py找的是某一类事物的全部实例输出带编号的清单每项包含精确可见文字和像素框detect page.png # 默认盘点所有 UI 元素 detect page.png buttons # 只找按钮 detect page.png --region 238,600,953,671 # 只盘点某个区域 detect frame.png text --fail-on-empty # 没检测到文本时以退出码 1 失败两个容易踩的坑默认类别面向 UI 截图按钮、链接、输入框、图标等。分析照片或视频帧时要显式传objects或text这样的类别避免被默认的 UI 框架带偏。整屏扫描只是快速初稿密集界面上数量会有波动。要完整先盘点布局区块再对每个区块detect --region。--fail-on-empty适合写进脚本没检测到元素时以退出码 1 结束方便自动化流程判断。trace 几何矢量化像素级精确的形状前三个工具的答案都来自视觉模型的目测而tracebin/trace完全本地运行、不经过任何视觉 API它从真实像素出发确定性地把扁平、高对比度的图形还原为中心线并拟合为可编辑的 SVG 图元circle、line、polyline、polygon。trace icon.png -o icon.svg # 黑白样条 SVG trace screenshot.png --region 1563,514,1668,621 -o icon.svg # 先裁区域 trace boxy.png --polygon # 方框图 / 线框图模式为什么重要——视觉模型会把颜色、间距、偏移说得模棱两可自信地描述出不存在的边框但trace给出的坐标直接来自像素放大镜图标就是一个circle加一条line而不是沿墨水两侧绕圈的噪声路径。小图会被自动放大后再追踪30px 的小图标和整页截图同样好处理。在 UI 还原工作流 里trace常与ground、crop、html_shot配合把截图里的图形转成可编辑 SVG再用像素对比反复校准。下面这对图就是一句话把信息图截图重建成 HTML/CSS的效果——左为原始截图右为还原结果crop 区域裁剪为后续工具备好素材cropbin/crop同样本地运行把ground/detect输出的X1,Y1,X2,Y2像素框直接裁成独立文件坐标自动收敛到图片边界内。crop screenshot.png --region 1563,514,1668,621 -o send-button.png crop screenshot.png --region 1563,514,1668,621 --scale 4 -o icon.png它的核心价值有两个一次裁剪多次复用当同一个框要先后喂给pixel_diff、dominant_colors、trace等多个工具时裁一次存成文件省掉每次在内存里重复裁剪。--scale N放大小目标对ground/trace看不清的小图标用--scale 4放大后再定位记住它返回的坐标在放大后的坐标系里映射回原图要除以 N。五大工具怎么选组合才是生产力单看每个工具都不复杂真正强大的是串联。技能文档SKILL.md总结的方法论是由粗到细先整图一遍glance了解布局和元素分布对关心的元素ground定位再glance --region放大细看像素级事实精确颜色、偏移、尺寸永远不要听文字描述交给trace或crop后的像素工具。举个真实例子Agent 只拿到一张截图和一句为什么 4 变 3 之后字段名称不符合预期它用glance读图理解卡片字段再结合代码定位出数据层与展示层的键名不一致——整个过程没有多模态模型参与主推理在 GUI 自动化场景见 references/gui.md中典型循环是ground定位控件 → 执行一个动作 → 重新截图 →glance验证状态 → 再继续。五个工具各就各位就像一支分工明确的眼睛小队。安装快速上手三个环境变量指向任意支持 OpenAI Chat Completions 的视觉 API 即可开始使用glance仅需 Python 3.11ground/detect/crop需pillowtrace需pillowvtracergit clone https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit export PATH$PWD/agent-vision-toolkit/bin:$PATH配置VISION_API_KEY、VISION_BASE_URL、VISION_MODEL到~/.config/agent-vision-toolkit/env后再把技能目录 skills/vision-skills/ 复制到你的 Agent 技能目录Agent 就能自己学会何时调用哪个工具。想更进一步让粘贴进对话的图片直接可用可参考 AGENT_INSTALL.md 接入 Codex、Claude Code、Pi、OpenCode 的无缝集成层。选型速记问内容用glance找一个用ground数一类用detect要精确用trace存素材用crop——答案在哪工具就在哪。赞分享【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/gh_mirrors/ag/agent-vision-toolkit点击查看免费下载相关推荐该选哪个 AI Skillyao-open-skills 15 大能力场景选型完全指南该选哪个 AI Skillyao open skills 15 大能力场景选型完全指南 yao open skills 是一个收录了 15 个可复用 AI Smcp-searxng 安装方式全解NPX、npm 与 Docker 到底该选哪一个mcp searxng 安装方式全解NPX、npm 与 Docker 到底该选哪一个 mcp searxng 是一个基于 SearXNG 的隐私友好型网络搜索Bootstrap与Tailwind CSS正面交锋2024年该选哪个Bootstrap与Tailwind CSS正面交锋2024年该选哪个 你还在为前端框架选择发愁吗Bootstrap和Tailwind CSS作为当前最流行前端UI组件创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考