这项由香港科技大学广州与京东联合完成的研究以预印本形式于2026年7月2日发布在arXiv平台编号为arXiv:2607.01874v1感兴趣的读者可通过该编号查阅完整论文。**一个让人头疼的问题**假设你刚入职一家大公司公司给了你一本厚厚的《员工操作手册》里面有几百个标准作业流程——怎么填报销单、怎么检测代码漏洞、怎么分析销售数据……每个流程都写得清清楚楚。然而你的工作表现会怎样也许第一次做报销时你翻错了页用了差旅申请流程而不是报销流程或者你找到了正确页面却只看了前三步就自己发挥把后面的验证步骤全部跳过又或者你按顺序完成了每一步最后却忘了在提交前做那个必要的自检……这就是当前AI助手在企业场景中面临的真实困境。研究团队把这类可以反复调用的操作手册称为技能而问题不在于AI有没有这些手册而在于它能不能真正地、可靠地使用它们。这项研究构建了一套名为**SkillCoach**的框架专门用来评估和改善AI在使用这类技能时的行为质量。它的核心思路是不能只看最终结果对不对还要像一个有经验的老师傅带学徒一样全程审视学徒每一步操作是否规范、是否真正遵照手册来做。---**一、操作手册太多AI也会挑花眼**在理解SkillCoach解决了什么问题之前需要先弄清楚技能这个词在这里的确切含义。研究团队所说的技能是指一种打包好的操作知识单元类似于企业标准作业程序SOP。每项技能的核心是一份名为SKILL.md的文档里面写清楚了这项技能的适用场景、具体操作步骤、需要用到的工具脚本以及完成后该如何验证结果。随着这类技能库不断扩大问题就浮现出来了。现实中的企业技能库里充斥着大量形似神异的技能比如销售部的数据汇总流程和财务部的数据汇总流程名字差不多用的工具也像但实际用途和关键步骤却完全不同。当AI助手面对这样一个混杂的技能库时它可能面临多重陷阱误选了一个看起来相关但其实不适用的技能挑错手册或者选对了手册却只走马观花地过了一遍跳过了关键步骤没认真读手册或者需要先后用两份手册、把前一步的结果传给下一步却搞错了顺序装配顺序搞反了最后完成后也没有按手册要求做自检交工前没有验收。更麻烦的是现有的评估方式只看最终答案对不对。如果AI歪打正着经过七拐八绕的试错最终给出了正确答案传统评估会打满分完全看不出来这个过程有多混乱、多不可靠。研究团队把这个问题形象地展示在论文的开篇对比图中两个AI助手做同一道题都最终通过了验证器拿到了正确答案。但其中一个助手有条不紊地找到了正确技能文档、逐步执行了关键操作、并在最后核查了结果另一个助手则走了弯路中途误选了干扰技能靠着反复试错才碰巧得到了正确结果。如果未来把这两个助手的行为都作为好示范来训练更多AI后者的那套混乱做法就会被当成正确经验学进去埋下隐患。---**二、给技能手册配一份过程评分卡**SkillCoach的第一个核心贡献是把AI使用技能的整个过程拆解成四个可以独立打分的维度就像一份操作规范评分卡。第一个维度叫**技能选择**考察的是AI有没有在一堆混淆项里找准正确的技能手册、同时没有把那些形似神异的干扰手册也一起拿进来用。这里用的是一个叫F1分数的数学工具简单说就是既要查准别拿错的也要查全别漏掉该用的两者同时满足才算好。如果当前任务压根不需要用任何技能AI老老实实不用也算对。第二个维度叫**技能执行**考察的是AI有没有真正跑完技能手册里规定的关键步骤。这里有一个重要的设计每个步骤不仅要打完成状态还要在AI的操作记录里找到看得见的证据——比如确实读取了某个文件、确实运行了某段脚本、确实生成了某个中间结果。只是嘴上说我做了这一步而没有可见证据是不算分的。第三个维度叫**技能组合**针对那些需要多个技能配合完成的任务考察AI有没有按正确顺序依次使用各项技能以及前一个技能产生的结果有没有正确传递给下一个技能。就好比组装家具时先装腿再装桌面顺序不能乱而且装腿时留下的螺丝孔要和桌面的孔对得上。第四个维度叫**技能反思**考察的是AI在交工之前有没有做一次显式的、可见的自检——比如验证输出文件格式对不对、数据范围是否合理、是否满足任务特定的约束条件。这个维度刻意不等同于最终答案对不对自检不等于结果正确AI完全可以自检了一遍、发现问题、修正最终得到正确结果也可能没有自检但歪打正着。这两种情况在过程上是完全不同的SkillCoach会区分对待。这四个维度的综合得分有默认权重设置技能选择占40%技能执行占30%技能组合占20%技能反思占10%。最终任务验证器的结果作为独立信号单独记录不混入过程得分。---**三、评分卡不能只靠拍脑袋得从实战中磨炼出来**有了评分卡的框架下一个问题是每道题的具体打分标准从哪里来如果让人工专家逐题制定标准成本极高而且容易遗漏真实场景中才会暴露的边界情况。SkillCoach给出的方案是让评分卡自己从实战中进化这也是self-evolving自我进化这个词的来源。整个进化过程像一个经验丰富的老师傅带学徒、反复修订检验单的过程共分三个阶段循环进行。第一阶段是搜集实战素材。系统让AI助手在真实环境含有正确技能和干扰技能的混合技能库中去完成任务产生一批真实的操作记录也叫轨迹。这些轨迹有的好有的差都会被系统收集起来作为原始素材。第二阶段是用当前版本的评分卡去给这些轨迹打分同时提取每一步操作背后的可见证据判断评分卡是否存在误判——比如漏掉了某个该检查的关键步骤或者在某种特殊情况下标准过于严苛。这个打分过程会揭露评分卡自身的盲区。第三阶段是由一个独立的仲裁模型基于上述发现提出局部修改方案修改内容只能针对评分标准、证据要求、负面案例识别等细节绝对不能动两类东西一是技能手册里规定的关键步骤列表不能改题目要求二是外部验证器的判断结果不能篡改最终裁判。修改方案必须通过一道双重审核门才能被正式采纳。第一道是硬性门槛修改后的评分卡不能变得更宽松不能对原本不达标的行为给予通过不能无视干扰技能的影响。第二道是软性提升要求修改后的评分卡必须在一批独立的验证轨迹上表现出实质性提升而且这种提升必须体现在具体证据覆盖率、反思质量、过程一致性等可量化指标上——仅仅是AI打分时更有信心了这种主观改变是不够的。整个进化过程在每道题上最多进行六轮覆盖全部28个任务共使用了94个进化轮次平均每道题进化约3.36轮。每轮结束后系统从所有被接受的版本中选出在验证集上表现最好的那一版作为最终使用的评分卡。---**四、进化后的评分卡到底变好了多少**为了验证进化前后的差异研究团队设计了一个严格的对比实验找来两位人工标注员从真实的操作记录和技能手册出发为每道测试题手工构建了黄金标准评分卡覆盖正确的关键步骤、技能使用边界、组合顺序和反思要求。然后用一个与评分卡生成过程完全分离的独立模型Gemini 3.1 Pro温度设为0以保证稳定性来评判初始评分卡和进化后评分卡各自的质量评判时不允许参考最终任务验证结果。对比结果在四个维度上全面向好。关键步骤覆盖率从71.56%提升到83.70%说明进化后的评分卡能识别出人工黄金标准里更多的评分要点。可用性评分从81.53分提升到94.33分满分100说明评分标准更加清晰、更容易被AI评判者正确执行。幻觉率从2.00%下降到0说明进化后的评分卡不再引入那些无中生有的要求比如错误的文件路径或不存在的输出格式限制。轨迹筛选一致性从82.00%提升到96.00%意思是用进化后的评分卡对AI操作记录做合格/不合格判断时与人工判断的吻合度大幅提高。这组数字背后的意义在于评分卡的进化不是靠着放宽标准来刷高分而是在不引入新错误的前提下真正填补了盲区让评分标准更完整、更准确、更可用。---**五、真实的任务场景选题有讲究**SkillCoach的实验不是在随便找来的任务上做的研究团队有一套严格的任务准入标准确保所有纳入研究的任务真正在考察技能使用能力而不是在考察AI的通用问题解决能力或死记硬背能力。具体来说每道题必须同时满足三个条件。第一不给技能手册时主流强力AI的平均成功率不超过30%——确保这道题靠蒙或通用能力很难过关。第二给了正确技能手册后成功率的提升幅度必须超过40个百分点——确保这道题确实因为技能手册变得可解。第三在有手册情况下的成功轨迹里关键步骤的执行覆盖率必须超过70%——确保成功的轨迹是真正遵循了手册流程而不是歪打正着。通过这套筛选研究团队最终确定了28道任务其中18道用于训练含50个具体实例10道用于测试也含50个具体实例并且训练集和测试集在任务类型层面完全隔开保证测试时评估的是泛化能力而非记忆能力。这28道题覆盖了软件工程代码安全漏洞修复、依赖关系审计、生产力工具合同填写、邀请函生成、科学分析洪水风险分析、地震板块计算、商业数据分析销售透视分析、财务欺诈检测、科学计算蛋白质表达分析、聚类参数调优以及内容创作视频物体计数、中文诗歌生成等多个领域。比较这28道题与原始技能基准测试任务池的数据可以发现研究团队选出来的这批题目在无手册时成功率上比原始池低了约14个百分点在有手册时的提升幅度上则高出约37个百分点。这意味着这批题目确实更加依赖技能手册对技能使用质量的考察更加直接。---**六、给AI助手做一次全面的技能体检**拿着进化后的评分卡研究团队对七款主流AI助手进行了全面评测评测分三种条件完全不提供技能手册、只提供正确技能手册无干扰项、提供正确技能手册加入干扰项。结果呈现出几个规律性的发现。在有无技能手册这个维度上技能手册的作用非常显著。以表现最好的Opus 4.7为例不给手册时成功率只有18%给了正确手册后直接跳到88%提升了整整70个百分点。GPT-5.5从24%升到80%Gemini 3.1 Pro从16%升到72%Kimi K2.6从16%升到66%。这证明研究团队选出来的题目确实是技能依赖型任务技能手册的价值是实实在在的。但是一旦加入干扰技能情况就开始分化了。最有意思的对比出现在Gemini 3.1 Pro身上加入干扰项后它的整体成功率从72%只小幅下降到70%看起来还不错但如果单看技能选择维度分数从98%暴跌到78%。这说明Gemini在技能选择上受到了相当大的干扰但它在后续执行环节上足够稳健执行分数甚至从72.6%微升到82.7%靠着执行质量补救了选择上的失误最终结果还算过得去。再看Qwen3.5-9B加入干扰项后技能选择分从92%暴跌至44%技能反思分从76%跌至34%最终成功率也从18%降至14%。这说明当AI连正确的手册都没找到时后续所有操作都会跟着失准。这组对比的意义在于如果只看最终成功率Gemini和Qwen的差距并不突出都是小幅下降但通过四维度拆解你能清楚地知道前者的问题出在找手册环节后者则是多个环节同时崩溃。这对于需要在企业中可靠部署AI助手的团队来说是截然不同的诊断结论对应的改进方向也完全不同。---**七、用进化后的评分卡来挑选训练素材**SkillCoach的第三个应用是把进化后的评分卡用于训练数据的筛选。道理很简单如果你想教一个学徒怎么正确使用操作手册最好的教材应该是那些真正规范执行了手册的操作示范而不是那些碰巧最后做对了但过程一塌糊涂的示范。研究团队的做法是收集大量AI在带干扰技能环境下完成任务的操作记录然后只保留那些同时满足两个条件的记录——一是外部验证器确认任务成功结果对二是进化后的评分卡给出的综合过程分达到0.95分以上过程规范。这两个条件都满足的记录才进入训练集用来微调规模较小的开源模型Qwen3.5系列的4B和9B两个版本。实验结果形成了一个清晰的对比梯度。以Qwen3.5-4B为例原始基础模型的最终任务成功率是8%用只要最终验证通过的宽松标准筛选训练数据做完微调后成功率反而跌到6%——说明这样选出来的训练数据里混入了太多过程混乱的反面教材把模型训坏了。用初始评分卡筛选的训练数据微调后成功率提升到16%有所改善。换成进化后的评分卡筛选成功率进一步提升到24%。对Qwen3.5-9B来说同样的趋势更加明显从14%基础到18%只看结果筛选到28%初始评分卡筛选再到32%进化评分卡筛选。研究团队还做了一组消融实验依次从筛选条件中去掉某一个维度看看哪个维度对训练质量的贡献最大。结果显示去掉技能执行要求的影响最大4B模型成功率从24%跌至10%9B从32%跌至16%。这说明在训练中忠实执行技能手册里规定的关键步骤是最重要的过程特征。去掉技能组合顺序的影响次之去掉技能反思的影响最小但也是可见的。---**八、技能库越大AI选技能越困难——有多困难**研究团队还专门做了一项压力测试专门研究当技能库规模不断扩大时AI的技能选择能力会在哪个节点开始崩溃。这项测试刻意只考察能不能从一堆手册里找对手册这一件事剥离了任务执行、环境运行等其他干扰因素。测试方法是从零干扰开始逐渐向技能库里加入越来越多的真实干扰技能用的是来自公开技能库的真实SKILL.md文件最多扩展到5万个每轮测量AI的技能选择准确度记录两个关键节点——第一次明显恶化准确度下跌超过10个百分点且此后不再回升和接近完全崩溃80%以上的测试案例都找不到正确技能、且准确度接近零。各款AI的表现差异非常大。在第一次明显恶化节点上DeepSeek V4 Flash在加入约26至27个干扰技能时就开始走下坡路Gemini 3.1 Pro能撑到约45至46个干扰技能GPT-5.5能撑到约55至56个Opus 4.7的韧性最强在约194至195个干扰技能时才开始明显恶化。在接近完全崩溃节点上DeepSeek V4 Flash在约6400至6500个干扰技能时崩溃Kimi K2.6在约2万至2.1万个时崩溃Gemini 3.1 Pro在约3.5万个时崩溃。而GPT-5.5和Opus 4.7在测试的最大规模5万个干扰技能下仍未触发崩溃标准GPT-5.5在5万个干扰项下的选择F1分数还能维持在0.33Opus 4.7则能维持在0.46。研究团队还发现干扰技能的危险程度取决于它们与正确技能的相似程度而不仅仅是数量。在固定50个干扰技能的情况下随机不相关的干扰技能对选择准确度的影响最小同领域但功能不同的干扰技能影响中等高度相似比如同一类任务的不同版本流程的干扰技能破坏力最强。以GPT-5.5为例在50个随机不相关干扰项下选择F1为0.84换成高度相似的干扰项就跌到0.59Opus 4.7从0.87跌到0.71。这个发现对企业部署AI助手有很强的实际含义在技能库里最危险的不是那些明显不相关的手册而是那些看起来很像但实际上有微妙差别的手册比如两个部门各自版本的合规检查流程或者针对不同业务场景的数据清洗脚本。此外研究团队还区分了两种不同类型的选择错误。一种是该用技能时没选对另一种是不该用技能时错误触发了某个技能。测试结果显示大多数AI在不该用时不乱用这件事上做得还不错但在该用时准确找到正确技能上的差距就很大了。这意味着仅仅测试AI会不会用技能会高估它的实际能力更重要的是测试它在一堆候选技能里能不能精准地找到那一个正确的。---归根结底这项研究揭示的是一个被长期忽视的评估盲区我们对AI助手的考核长期停留在结果对了吗这个层面却很少追问它是怎么做到的。在企业场景里这个问题不只是学术上的好奇而是实实在在的业务风险——一个靠反复试错、误选手册、跳过关键步骤最终歪打正着的AI助手在下一次面对稍有不同的任务时很可能彻底失效而且你完全预测不到它会在哪里出错。SkillCoach提供的这套四维过程评分卡加上自我进化机制不仅让评估更加准确还直接影响了训练数据的质量——只有过程规范、结果正确的示范才能进入训练集由此训练出来的AI在实际任务中的表现也明显更好。这说明怎么评和怎么训其实是一体两面的问题好的评估框架直接推动了更好的训练结果。当然这项研究也坦承了两点局限。实验规模相对有限28道任务涵盖的场景还不能完全代表真实企业中几千上万道工序的复杂程度。训练部分目前只做了离线的监督微调还没有尝试让AI在实际使用中持续根据反馈调整——研究团队已经指出SkillCoach产生的过程评分完全可以作为强化学习的奖励信号这是下一步值得探索的方向。有兴趣深入了解这套方法的读者可以通过arXiv编号2607.01874查阅完整论文论文附录中提供了所有关键提示词模板和详细实现参数具备一定技术背景的读者完全可以据此复现整套流程。---**QA**Q1SkillCoach的四个评分维度中哪个对训练效果影响最大A研究团队的消融实验显示技能执行维度的影响最大。去掉这个维度的筛选要求后Qwen3.5-4B的任务成功率从24%跌至10%9B从32%跌至16%。这说明在训练数据筛选中忠实按照技能手册执行关键步骤是最重要的过程特征比技能组合顺序和技能反思的贡献都要大。Q2SkillCoach对哪些类型的AI助手测试过A研究团队测试了七款AI助手包括Opus 4.7、GPT-5.5、Gemini 3.1 Pro、Kimi K2.6、DeepSeek V4 Flash、Qwen3.5-4B和Qwen3.5-9B。其中Opus 4.7在技能依赖任务上表现最稳健能在约194个干扰技能下才开始明显退化DeepSeek V4 Flash则在加入约26个干扰技能时就开始走下坡路。Q3技能库规模增大时AI选技能的崩溃标准是怎么定义的A研究团队用两个指标同时达标来判断崩溃一是超过80%的测试案例中AI完全没有选到任何正确技能二是技能选择F1分数不高于0.10且精确匹配率不高于0.05。这意味着崩溃不要求均值绝对为零只要绝大多数情况下完全无法找到正确技能就算触发了崩溃边界。