Midscene.js3分钟跑通自然语言UI自动化【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene先交代一句结论Midscene.js 是一个视觉驱动的开源 UI 自动化 SDK。它不读 DOM、不写选择器只靠截图加上多模态模型你用自然语言描述点什么、输入什么、验证什么它就能在网页、Android、iOS、鸿蒙和桌面应用上替你完成。下文按我第一次上手的真实过程展开没有代码基础也能看懂。第0天我为什么一直在追着选择器改晚上十点产品说把按钮文案从提交改成立即提交。我改完发现三条用例红了——因为它们的xpath里写着提交。这不是第一次了改个 class、调一下布局、加一层包裹 div测试就整片崩。选择器是 UI 测试里最脆弱的关节而维护它们的时间早就超过了写用例的时间。后来我试过几类智能定位工具本质还是读 DOM、读无障碍树。遇到纯图标按钮、自定义画布控件、跨域 iframe 就抓瞎原生 App 更是够不着。结构一变工具跟着瞎。直到有人给我看 Midscene.js 的思路动作定位只依赖截图和页面结构完全解耦。结构怎么改和它没关系。第1步装个 Chrome 扩展先零代码玩起来第一次上手最友好的方式是 Chrome 扩展。去应用商店搜 Midscene 装上浏览器右侧会出现一个侧边栏点齿轮图标把模型配置粘贴进去它认export KEYvalue这种格式然后随便打开一个网页输入一句人话在搜索框输入 Midscene.js 并点击搜索页面真的动了 ✨ 侧边栏里有 Action、Query、Assert 三种模式分别对应让它操作让它提取数据让它验证状态。整个过程我没写一行代码十分钟就摸清了它懂不懂人话。插件和后面要讲的 SDK 共用同一套核心在插件里验证通过的指令写成脚本后行为一致——这一点很关键等于先试玩再投资。第2步写第一个脚本搜索、提取、断言一次跑通扩展玩熟了就该写脚本了。SDK 的起步仪式感很轻装midscene/web和playwright把模型配置写成环境变量然后写一个几十行的文件。核心就三个方法aiAct(在搜索框输入 Headphones然后回车)——执行动作aiQuery({ title, price }[]列表中的耳机商品)——按结构提取数据aiAssert(页面左侧有一个分类筛选栏)——自然语言断言跑完终端会打印一行report file updated指向一个 HTML 报告。打开它能看到每一步操作、模型当时的截图、提取到的数据、断言结果全部按时间线回放。排查 AI 行为时这个报告比任何日志都好用。我第一次跑通这个流程从装依赖到看到报告大概十分钟。而之前写一条带选择器的用例光定位元素就要折腾半小时——这是最直观的账。第3步把同一套语言搬到手机和桌面脚本能跑网页不算稀奇让我真正改观的是它覆盖的边界。项目里每个平台都有独立实现但 API 是同一套Android通过 ADB 连接设备控制任意应用基于 scrcpy 的屏幕流iOS借助 WebDriverAgentiPhone、iPad 都能操作桌面端Windows、macOS、Linux 的原生键鼠控制另外还有 HarmonyOS以及canvas、跨域 iframe 这类结构性工具看不见的界面我在 Android 上试了一条打开设置查看当前系统版本号。左侧面板会展示 Planning、Insight、Locate、Action 四步模型先规划再观察界面、定位元素、执行动作每一步都能看到它的依据而不是一个黑盒。手机和桌面之所以也能跑是因为它本来就只依赖截图——能截到图就能被驱动。这也意味着你学会一个平台其他平台只是换了一块屏幕。踩坑记录三个提前知道能省时间的事模型是硬前提。它支持 Qwen3.x、Doubao-Seed-2.1、GLM-4.6V、Gemini、UI-TARS 等其中部分开源模型可以本地自托管敏感页面不出网。先确认你的模型有 API key 再开始不然装上也没反应。每一次操作都有模型调用成本。它提供了缓存机制重复的请求可以复用结果正式跑量之前先掂量一下单条用例的调用次数别让账单先于结论到达。报错先看报告。默认生成的 HTML 报告记录了模型每一步的截图和推理过程90% 的它为什么这么点都能在报告里找到答案 诚实评估它适合谁不适合谁适合反复改版导致用例频繁失效的项目需要覆盖 WebApp桌面多端的小团队想验证用户真正看到的样子颜色、高亮、布局的场景以及刚入行的测试新人——自然语言用例几乎没有学习门槛。不适合对每次执行要求完全确定性、零误差的场景模型有概率性和传统断言是两种哲学对单次运行成本敏感的极大规模用例纯性能压测这类不需要看懂界面的任务。另外如果整个项目只需要跑三条固定用例引入它未必划算。给你的行动清单如果你有点心动我的建议是先跑通最小示例再决定要不要接入你的项目。仓库里有完整的中文上手文档路径apps/site/docs/zh/quick-start.mdx核心引擎在packages/core。想动手的话git clone https://gitcode.com/GitHub_Trending/mid/midscene之后跟着快速开始走一遍装扩展试两句指令、跑一个脚本、看一份报告。半小时内你就能判断它适不适合你的团队。选择器这笔账大多数项目跑一次重构就回本了。【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Midscene.js：3分钟跑通自然语言UI自动化
Midscene.js3分钟跑通自然语言UI自动化【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene先交代一句结论Midscene.js 是一个视觉驱动的开源 UI 自动化 SDK。它不读 DOM、不写选择器只靠截图加上多模态模型你用自然语言描述点什么、输入什么、验证什么它就能在网页、Android、iOS、鸿蒙和桌面应用上替你完成。下文按我第一次上手的真实过程展开没有代码基础也能看懂。第0天我为什么一直在追着选择器改晚上十点产品说把按钮文案从提交改成立即提交。我改完发现三条用例红了——因为它们的xpath里写着提交。这不是第一次了改个 class、调一下布局、加一层包裹 div测试就整片崩。选择器是 UI 测试里最脆弱的关节而维护它们的时间早就超过了写用例的时间。后来我试过几类智能定位工具本质还是读 DOM、读无障碍树。遇到纯图标按钮、自定义画布控件、跨域 iframe 就抓瞎原生 App 更是够不着。结构一变工具跟着瞎。直到有人给我看 Midscene.js 的思路动作定位只依赖截图和页面结构完全解耦。结构怎么改和它没关系。第1步装个 Chrome 扩展先零代码玩起来第一次上手最友好的方式是 Chrome 扩展。去应用商店搜 Midscene 装上浏览器右侧会出现一个侧边栏点齿轮图标把模型配置粘贴进去它认export KEYvalue这种格式然后随便打开一个网页输入一句人话在搜索框输入 Midscene.js 并点击搜索页面真的动了 ✨ 侧边栏里有 Action、Query、Assert 三种模式分别对应让它操作让它提取数据让它验证状态。整个过程我没写一行代码十分钟就摸清了它懂不懂人话。插件和后面要讲的 SDK 共用同一套核心在插件里验证通过的指令写成脚本后行为一致——这一点很关键等于先试玩再投资。第2步写第一个脚本搜索、提取、断言一次跑通扩展玩熟了就该写脚本了。SDK 的起步仪式感很轻装midscene/web和playwright把模型配置写成环境变量然后写一个几十行的文件。核心就三个方法aiAct(在搜索框输入 Headphones然后回车)——执行动作aiQuery({ title, price }[]列表中的耳机商品)——按结构提取数据aiAssert(页面左侧有一个分类筛选栏)——自然语言断言跑完终端会打印一行report file updated指向一个 HTML 报告。打开它能看到每一步操作、模型当时的截图、提取到的数据、断言结果全部按时间线回放。排查 AI 行为时这个报告比任何日志都好用。我第一次跑通这个流程从装依赖到看到报告大概十分钟。而之前写一条带选择器的用例光定位元素就要折腾半小时——这是最直观的账。第3步把同一套语言搬到手机和桌面脚本能跑网页不算稀奇让我真正改观的是它覆盖的边界。项目里每个平台都有独立实现但 API 是同一套Android通过 ADB 连接设备控制任意应用基于 scrcpy 的屏幕流iOS借助 WebDriverAgentiPhone、iPad 都能操作桌面端Windows、macOS、Linux 的原生键鼠控制另外还有 HarmonyOS以及canvas、跨域 iframe 这类结构性工具看不见的界面我在 Android 上试了一条打开设置查看当前系统版本号。左侧面板会展示 Planning、Insight、Locate、Action 四步模型先规划再观察界面、定位元素、执行动作每一步都能看到它的依据而不是一个黑盒。手机和桌面之所以也能跑是因为它本来就只依赖截图——能截到图就能被驱动。这也意味着你学会一个平台其他平台只是换了一块屏幕。踩坑记录三个提前知道能省时间的事模型是硬前提。它支持 Qwen3.x、Doubao-Seed-2.1、GLM-4.6V、Gemini、UI-TARS 等其中部分开源模型可以本地自托管敏感页面不出网。先确认你的模型有 API key 再开始不然装上也没反应。每一次操作都有模型调用成本。它提供了缓存机制重复的请求可以复用结果正式跑量之前先掂量一下单条用例的调用次数别让账单先于结论到达。报错先看报告。默认生成的 HTML 报告记录了模型每一步的截图和推理过程90% 的它为什么这么点都能在报告里找到答案 诚实评估它适合谁不适合谁适合反复改版导致用例频繁失效的项目需要覆盖 WebApp桌面多端的小团队想验证用户真正看到的样子颜色、高亮、布局的场景以及刚入行的测试新人——自然语言用例几乎没有学习门槛。不适合对每次执行要求完全确定性、零误差的场景模型有概率性和传统断言是两种哲学对单次运行成本敏感的极大规模用例纯性能压测这类不需要看懂界面的任务。另外如果整个项目只需要跑三条固定用例引入它未必划算。给你的行动清单如果你有点心动我的建议是先跑通最小示例再决定要不要接入你的项目。仓库里有完整的中文上手文档路径apps/site/docs/zh/quick-start.mdx核心引擎在packages/core。想动手的话git clone https://gitcode.com/GitHub_Trending/mid/midscene之后跟着快速开始走一遍装扩展试两句指令、跑一个脚本、看一份报告。半小时内你就能判断它适不适合你的团队。选择器这笔账大多数项目跑一次重构就回本了。【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考