测试目前有两个方向AI for Testing用AI测试和Testing for AI测AI产品AI测试学习地图一、AI for Testing以下是AI for Testing框架AI驱动的全链路自动化测试流水线Skill技能稳定的流程写成说明书加规则库加脚本库打包给AI让AI能反复并稳定的执行专家Agent角色卡工具库工作流程规范包含AGENT.md、SOUL.md、USER.md、skills等多Agent协同如果一个Agent什么都干容易顾此失彼执行层由子Agent执行一是为了保持主Agent上下文干净二是避免上下文太长大模型注意力分散workflowAgent灵活但是不稳定不可控所以测试流程需要workflow工作流通过预定义的一条代码路径来编排模型和工具的系统AI只负责在每个节点上面干活不能自己去改路线。AI x 测试全流程AI渗漏到测试中的每个环节比如AI生成测试用例接口自动化UI自动化造数根因分析如果只是让每个环节都用上AI肯定是不够用的我们需要做到AI测试的工程化所有我们不能只依赖codexopenclaw这类的通用agent通过skill完成零散的任务我们需要直接调用AI模型结合公司的技术栈自主的去设计和开发测试Agent在代码里要自己调度任务对过程数据进行处理落库确保每一次的执行都可追踪可回溯最后把这个Agent作为测试质量的节点接入到流水线中成为发布管控的一环最终要实现端到端的AI测试让QA从大量重复的工作里面释放出来把精力放在风险判断、质量标准和关键结果确认上面。二、Testing for AI第一部分是借助AI完成测试任务广义的AI测试还包含用AI测试生成内容叫做AI评测AI评测与传统软件测试区别传统的软件测试通常由相对明确的预期结果可以通过断言判断对错但是生成式AI具有概率性同样的输入可能得到不同的答案很多任务是没有唯一标准答案的整套测试方案发生平易传统测试AI测评测试用例评测数据集断言评分器Grader通过/失败分数与通过率执行一轮采样N次看评测统计结果回归测试重跑测试集