当自动化测试的维护成本开始吞噬迭代速度【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene测试脚本频繁变红原因往往不是功能坏了而是前端重构改了一个 class 名。Midscene.js 是一款视觉驱动的开源 UI 自动化工具不读 DOM、不看源码只看屏幕截图用一句自然语言就能指挥 AI 完成点击、输入和断言把维护选择器这件事从测试日常里彻底删掉。一个让测试组集体沉默的回归周一早上的例行回归40 条用例挂了 31 条。逐个排查后真相令人无奈不是产品功能出了岔子而是交互稿改版按钮的 class、输入框的 id 全部重排——所有选择器在一夜之间集体失效。这几乎是每个 UI 自动化团队的共同记忆。传统方案把测试建立在页面结构之上要么靠 CSS 选择器、XPath要么依赖可访问性树。而结构这种东西天生有两个毛病脆弱前端一重构选择器批量报废测试的维护量反超开发量有盲区纯图标按钮、canvas 绘制的控件、自定义组件、跨域 iframe乃至原生 App结构信息要么缺失、要么根本拿不到。更关键的是结构再完整也回答不了那个核心问题界面看起来对吗一个按钮存在于 DOM 中和渲染成用户真正看到的样子完全是两回事。思路反转让测试直接看屏幕Midscene.js 的解法朴素而直接——把结构这个中间环节整个删掉。它只做一件事抓取当前屏幕截图交给多模态大模型让模型像人一样看见界面理解你的自然语言指令算出目标位置再驱动真实操作。await agent.aiAction(点击搜索框输入 Midscene.js 并回车);就这么简单。这一行背后选择器、XPath、动态 id 全都不存在了。维护成本从每周追着前端改选择器变成改完 UI 重新跑一遍就行。两种路径的差异一目了然传统方式Midscene.js依赖 DOM / 无障碍树仅依赖截图重构即失效视觉不变就稳定看不到 canvas、原生界面人眼可见即可操作验证节点是否存在验证真实渲染效果十分钟从安装到跑通第一个用例上手有两条路丰俭由人。不想写代码装一个 Chrome 扩展在面板里配置好模型然后到任意网页上直接输入指令比如把页面滚动到底部并告诉我有哪些商品在促销。AI 的定位过程会实时展示这是感受视觉驱动到底什么手感的最快方式。想要可复用的脚本走 JavaScript SDKnpm create midscenelatest npm install随后在环境变量里配置模型信息MIDSCENE_MODEL_PROVIDERopenai MIDSCENE_API_KEY你的密钥核心 API 只有三个对应做、查、验三件事aiAction()执行操作如点击、输入、拖拽aiQuery()从界面提取数据比如列出购物车中所有商品的价格aiAssert()断言校验比如确认登录按钮处于可点击状态。每次运行还会生成一份可视化报告操作步骤、关键截图、AI 的思考过程都能回放。排查失败用例时这份报告比命令行里的一堆日志直观得多。一套自然语言通吃网页、手机与桌面Midscene.js 的能力边界只有一个只要能截图就能自动化。因此它覆盖的不只是浏览器Web通过 Puppeteer、Playwright或以桥接模式直接接管桌面 ChromeAndroidADB 连接设备即可无需 rootiOS借助 WebDriverAgent 驱动 iPhone、iPad桌面与更多Windows / macOS / Linux 应用甚至 HarmonyOS 设备。一个很实际的场景Web 端的回归脚本写好了Android 端想复用同一套流程只需把 Agent 的接入方式从浏览器换成设备连接自然语言步骤原样照搬。测试资产不再按平台割裂而是变成一份通稿。新手最容易踩的三个坑工具虽省心用错姿势还是会翻车。综合社区反馈最常见的三个坑是坑一拿通用大模型做 UI 定位。通用模型看图能力不差但对精确点中屏幕上的小按钮这件事不够稳。解法是选专门强化过 UI 定位能力的模型比如 Qwen-VL、GLM-4V、Gemini 系列或者自托管的开源模型 UI-TARS精度会明显上一个台阶。坑二提示词写得太玄。检查一下页面有没有问题这种指令AI 只能回你一句模糊的看起来还行。断言要落到可验证的具体描述顶部导航栏包含 5 个菜单项显然比导航正常可靠得多。坑三移动端环境没打通。Android 要开启 USB 调试iOS 要处理设备信任设置模拟器与真机的网络表现也差异很大。建议关键路径用真机验证再根据网络状况适当调大超时避免偶发连接失败被误判成用例失败。另外有个省钱小技巧开启结果缓存后同一页面、同一指令的 AI 调用会被复用响应速度和 token 消耗都能省下一大截。最后去亲手跑一遍选择器大概是测试里最没技术含量、却最耗时的那部分。Midscene.js 用视觉大模型把这部分成本直接归零——这正是它最值得一试的地方。建议的行动路径先在 Chrome 扩展里玩十分钟找手感再跑通一个真实的端到端用例最后把它接进你现有的 Playwright 测试或 CI 流程。遇到问题时官方文档、Issue 区和 Discord 社区都是现成的求助入口像这样快速迭代的开源工具成长速度往往比你的预期更快。【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 当自动化测试的维护成本开始吞噬迭代速度
当自动化测试的维护成本开始吞噬迭代速度【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene测试脚本频繁变红原因往往不是功能坏了而是前端重构改了一个 class 名。Midscene.js 是一款视觉驱动的开源 UI 自动化工具不读 DOM、不看源码只看屏幕截图用一句自然语言就能指挥 AI 完成点击、输入和断言把维护选择器这件事从测试日常里彻底删掉。一个让测试组集体沉默的回归周一早上的例行回归40 条用例挂了 31 条。逐个排查后真相令人无奈不是产品功能出了岔子而是交互稿改版按钮的 class、输入框的 id 全部重排——所有选择器在一夜之间集体失效。这几乎是每个 UI 自动化团队的共同记忆。传统方案把测试建立在页面结构之上要么靠 CSS 选择器、XPath要么依赖可访问性树。而结构这种东西天生有两个毛病脆弱前端一重构选择器批量报废测试的维护量反超开发量有盲区纯图标按钮、canvas 绘制的控件、自定义组件、跨域 iframe乃至原生 App结构信息要么缺失、要么根本拿不到。更关键的是结构再完整也回答不了那个核心问题界面看起来对吗一个按钮存在于 DOM 中和渲染成用户真正看到的样子完全是两回事。思路反转让测试直接看屏幕Midscene.js 的解法朴素而直接——把结构这个中间环节整个删掉。它只做一件事抓取当前屏幕截图交给多模态大模型让模型像人一样看见界面理解你的自然语言指令算出目标位置再驱动真实操作。await agent.aiAction(点击搜索框输入 Midscene.js 并回车);就这么简单。这一行背后选择器、XPath、动态 id 全都不存在了。维护成本从每周追着前端改选择器变成改完 UI 重新跑一遍就行。两种路径的差异一目了然传统方式Midscene.js依赖 DOM / 无障碍树仅依赖截图重构即失效视觉不变就稳定看不到 canvas、原生界面人眼可见即可操作验证节点是否存在验证真实渲染效果十分钟从安装到跑通第一个用例上手有两条路丰俭由人。不想写代码装一个 Chrome 扩展在面板里配置好模型然后到任意网页上直接输入指令比如把页面滚动到底部并告诉我有哪些商品在促销。AI 的定位过程会实时展示这是感受视觉驱动到底什么手感的最快方式。想要可复用的脚本走 JavaScript SDKnpm create midscenelatest npm install随后在环境变量里配置模型信息MIDSCENE_MODEL_PROVIDERopenai MIDSCENE_API_KEY你的密钥核心 API 只有三个对应做、查、验三件事aiAction()执行操作如点击、输入、拖拽aiQuery()从界面提取数据比如列出购物车中所有商品的价格aiAssert()断言校验比如确认登录按钮处于可点击状态。每次运行还会生成一份可视化报告操作步骤、关键截图、AI 的思考过程都能回放。排查失败用例时这份报告比命令行里的一堆日志直观得多。一套自然语言通吃网页、手机与桌面Midscene.js 的能力边界只有一个只要能截图就能自动化。因此它覆盖的不只是浏览器Web通过 Puppeteer、Playwright或以桥接模式直接接管桌面 ChromeAndroidADB 连接设备即可无需 rootiOS借助 WebDriverAgent 驱动 iPhone、iPad桌面与更多Windows / macOS / Linux 应用甚至 HarmonyOS 设备。一个很实际的场景Web 端的回归脚本写好了Android 端想复用同一套流程只需把 Agent 的接入方式从浏览器换成设备连接自然语言步骤原样照搬。测试资产不再按平台割裂而是变成一份通稿。新手最容易踩的三个坑工具虽省心用错姿势还是会翻车。综合社区反馈最常见的三个坑是坑一拿通用大模型做 UI 定位。通用模型看图能力不差但对精确点中屏幕上的小按钮这件事不够稳。解法是选专门强化过 UI 定位能力的模型比如 Qwen-VL、GLM-4V、Gemini 系列或者自托管的开源模型 UI-TARS精度会明显上一个台阶。坑二提示词写得太玄。检查一下页面有没有问题这种指令AI 只能回你一句模糊的看起来还行。断言要落到可验证的具体描述顶部导航栏包含 5 个菜单项显然比导航正常可靠得多。坑三移动端环境没打通。Android 要开启 USB 调试iOS 要处理设备信任设置模拟器与真机的网络表现也差异很大。建议关键路径用真机验证再根据网络状况适当调大超时避免偶发连接失败被误判成用例失败。另外有个省钱小技巧开启结果缓存后同一页面、同一指令的 AI 调用会被复用响应速度和 token 消耗都能省下一大截。最后去亲手跑一遍选择器大概是测试里最没技术含量、却最耗时的那部分。Midscene.js 用视觉大模型把这部分成本直接归零——这正是它最值得一试的地方。建议的行动路径先在 Chrome 扩展里玩十分钟找手感再跑通一个真实的端到端用例最后把它接进你现有的 Playwright 测试或 CI 流程。遇到问题时官方文档、Issue 区和 Discord 社区都是现成的求助入口像这样快速迭代的开源工具成长速度往往比你的预期更快。【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考