“先混进去再说”这句话在 AI 测试岗这个圈子里的流传度比大多数人想象中要高。但它只对了一半。对的一半是AI 测试岗目前确实没有统一的准入门槛没有“测开八股”那样标准化的题库很多团队自己都没想清楚要招什么样的人。所以确实存在一批人靠着比较基础的功能测试经验、或者对大模型 API 的一知半解先进了 AI 项目组再在岗位上补课。错的一半是混进去和留下来是两回事。AI 测试岗的淘汰速度比传统测试岗快得多。如果一个测试人员只会“点点点”对大模型评测指标体系、RAG 应用的数据流、Agent 的链路追踪一头雾水那不仅转正困难试用期就会非常痛苦。这篇文章不泼冷水也不灌鸡汤。我会拆解 AI 测试岗的真实构成、岗位现实、最低可落地的技能清单以及一条具体到周的转行路线最后给出几个能直接跑的 AI 应用测试脚本示例。想转行的测试人可以参考这套思路判断自己该从哪里切入。1. 先搞清楚AI 测试岗不是一种岗是四种岗很多测试人转行失败不是因为技术不够而是把 AI 测试岗看成了一个统一的岗位去准备结果面试时发现面试官问的东西和自己准备的东西完全不在一个频道。从当前的招聘市场和团队分工看AI 测试岗至少可以拆成四种类型。岗位类型核心工作典型团队技术门槛大模型评测工程师模型能力评估、评测集设计、指标计算大模型算法团队中等偏数据敏感度AI 应用测试开发AI 应用功能测试、稳定性测试、自动化脚本业务研发团队较高需要写代码算法测试工程师算法效果验证、回归测试、badcase 分析算法中台团队较高需要懂模型基础传统测试 AI 提效用 AI 工具写用例、做接口测试、生成测试数据绝大多数业务团队较低是所有人的基础能力对大多数想转行的功能测试同学来说最容易切入的是第二类“AI 应用测试开发”其次是第一类“大模型评测工程师”。算法测试工程师往往要求有算法背景传统测试 AI 提效则不算真正意义上的转岗而是现有岗位的升级。所以先想清楚你要投的是哪一种岗再决定学什么。2. 为什么“先混进去再说”这个说法能成立这个说法不是完全没有道理。AI 测试岗之所以能“混”主要有三个现实原因。第一岗位定义极度模糊。同一个 JD 上写的“AI 测试工程师”在不同公司可能意味着完全不同的工作。在 A 公司是做 Prompt 评测在 B 公司是做 RAG 检索质量验证在 C 公司可能是用大模型接口写自动化测试框架。这种模糊让简历筛选阶段很难精确淘汰候选人。第二行业还没有形成标准认证体系。传统测试有 ISTQB测开有各种框架经验要求但 AI 测试没有公认的证书或标准技能树。面试官自己也是边干边学所以面试时更看重学习能力和基础功底而不是“你有没有做过 AI 测试”。第三大模型应用迭代太快团队缺人。很多时候项目已经启动但测试资源还没配齐团队会先找能快速上手的人进来顶着哪怕他之前完全没做过 AI 测试。但必须强调混进去只是拿到了入场券。AI 测试岗的试用期通常都会考察实际产出如果进去之后还是只会传统功能测试的套路那试用期就是一道很难过的坎。更稳妥的策略是用最低成本拿到面试机会但在面试前至少把最核心的技术概念和动手能力补到位。3. 认清岗位现实AI 测试到底测什么为了不让自己进去之后太被动你得先知道 AI 测试岗的工作内容和传统功能测试有什么区别。传统功能测试的对象是确定性系统输入固定的数据预期一个固定的结果。AI 应用测试就麻烦很多因为模型的输出天然带有随机性和不确定性。同一个 Prompt 问两次答案可能不一样这就是 AI 测试面临的核心挑战。现阶段 AI 测试的实际工作内容基本围绕这几块展开。3.1 功能测试这一部分最接近传统测试。AI 应用的 UI、登录、权限、计费、上传、导出这些模块该测还是要测该用功能测试的方法还是要用。这部分是传统测试人员最容易上手的地方也是“先混进去”的底气所在。3.2 模型效果评测这是 AI 测试里最核心、也最需要建立方法论的模块。你需要设计评测集、定义评测标准、计算指标。比如问答准确性答案与标准答案的匹配程度语义相关性生成内容与问题的相关度鲁棒性换一种问法是否还能给出正确结果安全性是否会被诱导生成不合适的内容大模型评测的常用指标包括准确率、召回率、F1、BLEU、ROUGE 等。但实际工作中很多团队会采用“人工打分 规则判断 LLM 辅助判断”混合的方式。3.3 RAG 应用测试现在大部分 AI 应用都基于 RAG 架构。测试时要关注检索质量、上下文拼接、引用溯源。比如知识库问答问题输入后能否检索到正确的文档片段生成的答案是否忠实于检索到的内容而不是模型自己乱编。这就是 RAG 测试里常说的“忠实性”。3.4 Agent 链路测试AI Agent 应用涉及规划、调用工具、执行动作、观察结果等多个步骤测试时要关注链路是否完整、工具调用参数是否正确、异常情况下 Agent 是否能自动恢复。3.5 自动化测试与接口测试这部分是测试开发的主战场。用自动化脚本模拟用户调用大模型接口做批量回归、稳定性测试、性能测试。后面会给出具体示例。4. 转行前的技能盘点最低门槛和加分项很多测试人一看到“AI 测试”四个字第一反应是“我得先学会机器学习”。这是最大的误区。AI 测试岗不是算法岗不需要你从零推导 Transformer 的数学原理。真正需要的是下面的组合能力。能力模块具体内容优先级Python 编程基础变量、函数、类、文件操作、异常处理必须接口测试基础HTTP 协议、requests 库、JSON 数据处理必须大模型 API 调用会调用 OpenAI 风格接口处理流式返回必须自动化测试基础pytest、selenium/playwright 基本用法强烈建议评测方法论评测集设计、评估指标、badcase 分析强烈建议Prompt 工程基础会写系统提示词了解常见 Prompt 套路加分RAG 原理了解向量化、检索、重排基本流程加分机器学习教育了解训练、微调、过拟合等基本概念加分但非必须可以看到最低门槛并不高Python 接口测试 大模型 API 调用。这三个技能 23 个月内完全可以补齐。5. 一条可执行的三个月转行路线下面这条路线是我按测试人员的真实基础设计的假设你已有手工测试经验但编程和 AI 零基础。每周投入 15 小时左右。5.1 第 14 周补 Python 和接口测试不要看一堆 Python 教程直接以“能写接口测试脚本”为目标。至少要掌握requests 库调用 GET/POST 接口JSON 数据解析pytest 断言和参数化用 Python 读写文件和操作 Excel完成目标能独立写一个调用任意 HTTP 接口并做断言的小工具。import requests import pytest BASE_URL https://api.example.com def test_health_check(): resp requests.get(f{BASE_URL}/health, timeout5) assert resp.status_code 200 assert resp.json().get(status) ok5.2 第 58 周搞定大模型 API 调用这个阶段的目标是熟练调用大模型接口并理解流式返回、Token 计数、上下文管理这些基本概念。from openai import OpenAI client OpenAI( api_keyyour-api-key, base_urlhttps://api.example.com/v1 ) response client.chat.completions.create( modelgpt-4o-mini, messages[ {role: system, content: 你是一个测试助手请用简洁的中文回答问题。}, {role: user, content: 请用一句话解释什么是 RAG。} ], temperature0.7, streamFalse ) print(response.choices[0].message.content)完成目标跑通一个最简单的对话接口并写一个批量测试脚本能对多条 Prompt 循环调用并记录返回结果。5.3 第 912 周做 AI 应用测试项目并准备面试这个阶段需要产出两个真实可说的项目。第一个项目给一个开源的 AI 聊天应用写一组接口测试用例覆盖正常问答、空输入、超长输入、并发调用等场景。把这组测试脚本放到 GitHub 上并写好 README。第二个项目设计一个小型评测集至少在本地评测 50 条问答数据统计准确率或相关性并输出 badcase 分析文档。有了这两个项目简历上就有了明确的 AI 测试经历面试时也有东西可以讲。6. AI 应用测试可以直接用的代码示例这一节给出几个核心脚本都是 AI 测试岗日常会用到的基础能力你可以直接拿去改。6.1 大模型接口稳定性测试AI 应用测试里一个很常见的场景反复调用同一个模型接口看是否会出现超时、报错、返回空值。下面是利用 pytest 和 requests 做的稳定性冒烟测试。import requests import time import statistics API_URL https://api.example.com/v1/chat/completions API_KEY your-api-key HEADERS { Authorization: fBearer {API_KEY}, Content-Type: application/json } PAYLOAD { model: gpt-4o-mini, messages: [ {role: user, content: 请回复正常} ], temperature: 0.3, max_tokens: 50 } def call_once(): start time.time() resp requests.post(API_URL, jsonPAYLOAD, headersHEADERS, timeout60) cost time.time() - start data resp.json() content data[choices][0][message][content] return resp.status_code, cost, content if __name__ __main__: results [] for i in range(20): try: status, cost, content call_once() results.append(cost) print(f第 {i1} 次调用: status{status}, time{cost:.2f}s, content{content[:20]}) except Exception as e: print(f第 {i1} 次调用失败: {e}) if results: print(f平均耗时 {statistics.mean(results):.2f}s) print(f最大耗时 {max(results):.2f}s) print(f成功率 {len(results) / 20 * 100}%)这个脚本做三件事确认接口可用性、统计响应时间、发现偶发失败。在实际工作中可以加 assert 断言成功率阈值做成 CI 里的冒烟测试。6.2 批量 Prompt 回归测试模型升级或 Prompt 调整后需要做批量回归。下面是一个用 JSON 文件管理测试用例、批量调用并记录结果的示例。import json import requests from openai import OpenAI client OpenAI( api_keyyour-api-key, base_urlhttps://api.example.com/v1 ) def load_cases(file_path: str): with open(file_path, r, encodingutf-8) as f: return json.load(f) def run_case(case: dict): response client.chat.completions.create( modelcase.get(model, gpt-4o-mini), messages[ {role: system, content: case.get(system_prompt, 你是测试助手。)}, {role: user, content: case[user_input]} ], temperaturecase.get(temperature, 0.3) ) return response.choices[0].message.content if __name__ __main__: cases load_cases(test_cases.json) for case in cases: try: output run_case(case) print(f用例 {case[case_id]}: 通过) with open(outputs.txt, a, encodingutf-8) as f: f.write(f{case[case_id]}\t{output}\n) except Exception as e: print(f用例 {case[case_id]}: 失败 - {e})[ { case_id: case_001, model: gpt-4o-mini, user_input: 11等于多少, temperature: 0 }, { case_id: case_002, model: gpt-4o-mini, user_input: 用一句话介绍杭州, temperature: 0.7 } ]注意这个脚本没有校验输出内容是否正确只验证了“是否成功返回”。真实项目里需要针对每条用例加校验规则比如断言关键词是否包含在输出中。6.3 RAG 知识库问答的检索一致性检查RAG 应用测试中一个核心问题是答案是否基于检索到的文档。这里给一个检查“忠实性”的思路示例。import requests # 假设这是一个 RAG 问答服务的 HTTP 接口 def ask_rag(question: str): resp requests.post( http://127.0.0.1:8000/ask, json{question: question}, timeout30 ) return resp.json() if __name__ __main__: test_questions [ 公司年假制度是什么, 如何申请报销 ] for q in test_questions: result ask_rag(q) answer result.get(answer, ) sources result.get(sources, []) print(f问题: {q}) print(f回答: {answer[:50]}) print(f引用来源数: {len(sources)}) # 检查每个引用是否能在知识库中定位到 for src in sources: assert src.get(doc_id), 引用缺少 doc_id print(---)这个脚本本质上是验证RAG 服务是否返回了 answer 和 sources以及引用的来源是否完整。更严格的做法是再把 answer 里面的关键句和 source 的原文做相似度检查这里不展开。6.4 简单的大模型输出判断器在真实项目中纯人工评估几百条模型输出效率太低。可以用“LLM 评判输出”的方法做一个自动化评估器。from openai import OpenAI client OpenAI( api_keyyour-api-key, base_urlhttps://api.example.com/v1 ) def llm_judge(question: str, answer: str, reference: str): judge_prompt f 你是一个评测助手请判断以下 AI 回答是否准确。 问题{question} 参考答案{reference} AI 回答{answer} 请只输出好 / 一般 / 差并给出 30 字以内的理由。 resp client.chat.completions.create( modelgpt-4o-mini, messages[{role: user, content: judge_prompt}], temperature0 ) return resp.choices[0].message.content if __name__ __main__: q 泡茶水温一般是多少度 ref 根据茶叶种类不同通常在 70100 摄氏度之间。 ans 泡茶水温在 70 到 100 度之间具体看茶种。 print(llm_judge(q, ans, ref))用大模型来评大模型输出现在已经是测试团队的主流做法。它的准确度不如人工标注但胜在速度快可以作为第一轮过滤。7. 面试与简历怎么把准备转化为 offer技能学到手之后面试是另一道关。AI 测试岗面试考察的通常不是精深的理论而是三个东西动手能力、方法论、学习速度。简历上有几个建议不要写“熟悉机器学习”除非你真有项目支撑把传统测试项目的描述尽量量化突出你解决问题的能力单独列一节写你的 AI 测试项目哪怕是自己做的 Demo要写清楚评测集规模、评测指标、发现的问题代码仓库一定要干净README 要写好面试常见问题可以提前准备大模型输出的随机性怎么解决可以答通过 temperature 参数控制、多次采样取多数、在断言层做语义模糊匹配怎么评测 RAG 系统可以答检索质量看 Recall/Precision生成质量看忠实性整体效果看用户满意度模型升级后怎么快速验证没有回归可以答准备一组标准回归用例集跑批量对比统计变化率线上 badcase 怎么收集和分析可以答日志收集 用户反馈标记 聚类 人工抽检面试时如果遇到不会的问题不要硬编。可以说“这个问题我之前没深入了解但我的分析思路是……”然后讲自己的解决路径。AI 测试岗的面试官普遍更看重分析思路而不是标准答案。8. 哪些坑最容易踩这一节列一下转行过程中最常见的误区和风险。误区现实AI 测试岗薪资都特别高只有具备编码和评测能力的 AI 测试开发才有溢价纯手工功能测试溢价空间有限会调用大模型 API 就算是 AI 测试调用接口只是基础能力评测设计、数据分析、问题定位才是核心价值转行必须会算法AI 测试岗不是算法岗不需要数学推导能力但要理解模型能力边界没有 AI 项目经验就无法转行自己动手做 50 条数据的评测 Demo 也算项目经验关键是能清晰讲出设计思路进去之后就能躺平AI 技术迭代快测试方法也必须跟着变这个岗位要求持续学习另外有几条安全边界需要提醒。第一不要为了“混进去”在简历上虚构大模型项目经历。面试官多问两个细节就会穿帮而且现在很多公司会做背景调查。可以包装项目但核心内容和数据不能造假。第二涉及用户数据、隐私数据、版权素材的测试必须在合规的环境下进行。不要因为测试需要就去拿真实用户数据做评测不要用未授权的图片、语音、文本去测试生成模型。第三在做模型评测时注意不要用测试用例去诱导模型生成不安全内容。你可以在可控的测试环境中验证安全性但不要自己制作并传播违规内容。9. 这里还想多说一点“先混进去再说”这句话我建议你把它理解成“先给自己搭一个能拿到入场券的能力基线再在岗位上快速迭代”而不是“什么都不准备就去投简历”。从实际招聘情况看AI 测试岗确实还没有形成严格的准入门槛这给转行的人留了窗口期。但这个窗口期会越来越短。随着 AI 应用大规模上线企业对测试质量的要求会快速提高到时候再补技能成本和压力都会大很多。现在正是转行的好时间点但不是因为可以“混”而是因为行业还没形成标准化的选拔机制一个具备 Python 基础、懂接口测试、会调用大模型 API 的测试人员已经可以甩开大部分竞争者。如果你已经在功能测试岗位做了两三年强烈建议先把 Python 和接口测试补起来再往大模型 API 调用和评测方向上走。这是目前投入产出比最高的一条路。