这项研究由腾讯微信AI团队完成论文于2026年6月23日发布在预印本平台arXiv编号为arXiv:2606.08671v2分类方向为计算机学习领域cs.LG。感兴趣的读者可以通过这个编号在arXiv平台直接查阅完整论文。**一段让你秒懂研究背景的故事**设想你有一位很能干的助手他专门帮你处理各种工作。某天他终于学会了如何在网上高效地查找特定信息——遇到某个网站报错时他学会了换一个搜索工具继续找。你很满意把这个技巧记录成一张便条贴在他的工作台上。几个月后原来那个报错的网站改版了出现了一种全新的错误。你换了一位新助手来接替他的工作新助手拿到的只是那张便条只知道遇到问题就换搜索工具却完全不知道这条规则是怎么来的、是针对哪种具体错误写下的。结果他对着一个完全不同性质的新问题机械地执行了已经过时的方案白忙活了半天。这正是今天大多数AI助手所面临的真实困境。腾讯微信AI团队的研究人员注意到这个问题并为此设计了一套名为SkillHone的系统专门解决AI助手只传经验、不传记忆的根本缺陷。**一、AI助手的技能到底是什么**在深入了解SkillHone之前需要先搞清楚一个词技能Skill。在这个研究语境中技能并不是指AI背后的算法或者数学模型而是一套可以被打包、传递和加载的操作手册。用更贴近生活的方式来理解如果你雇了一个专门负责网络调研的助手你会给他一份工作指南上面写着如何搜索优先使用哪些网站如何验证找到的信息是否可靠最后怎么汇报结果。这份指南就是技能。它可以被交给任何一位新助手使用也可以随时更新修改。AI世界里的技能也是同样的道理它是一个包含任务操作步骤、参考资源、输出格式规范的可加载文件包AI在处理特定类型任务时会主动读取并遵循它。现在市面上已经有一些帮助AI学习和改进技能的方法。一类叫做创建型方法比如Anthropic公司旗下的Skill-Creator它能把一段任务描述或示例文档转化成一份可用的技能文件然后直接交给AI使用。另一类叫做优化型方法比如Hermes-SE它会让AI反复尝试、评估、改进通过多轮迭代把技能打磨得更好。这两种方法都很有用但都有同一个根本问题它们只保留了最终结果却丢掉了整个过程。一旦一轮优化结束AI只能拿到最新版本的技能文件不知道这个版本是怎么来的、之前做过哪些尝试、为什么某些方案被否决了。这就像一位厨师传授菜谱时只交出最后写好的那张纸却没有讲任何一次失败的实验和踩过的坑。下一位学厨的人会把同样的坑再踩一遍。**二、SkillHone解决的核心问题让记忆成为资产**SkillHone的核心思路可以用一个比喻来理解把每一次技能修改都当成一份法庭证据来管理。在法庭上每一项决定都需要留下完整记录是什么问题触发了调查诊断提出了什么解决方案修订方案用了哪些证据来评估这个方案评估证据最终做出了什么判决接受或拒绝。这些记录不会随着案件结案而销毁而是永久归档供以后的案件参考。SkillHone对技能的每一次改动都以同样的逻辑记录研究团队把每条记录称为决策记录Decision Record。每条记录包含四个要素此次修改是为了解决什么具体问题诊断提出了什么修改方案候选修订用什么证据测试了这个方案已脱敏的评估证据以及最终结果是接受、拒绝、要求进一步修改还是暂时搁置。这些记录不会在一次开发结束后被清空而是随着时间积累形成一条连续的决策历史链Persistent Decision History。当下一次需要改进这个技能时——无论是一天后还是半年后无论是同一个AI还是另一个AI来接手——它能够调阅完整的历史档案知道之前做过什么、为什么做、结果如何从而做出真正有依据的决定而不是从零开始摸索。这与普通的版本记录有本质区别。版本记录只告诉你文件改了什么比如第三行从使用搜索引擎A改成了使用搜索引擎B。而决策记录告诉你这次修改是因为发现搜索引擎A在处理学术文献查询时返回结果太慢诊断换成了搜索引擎B方案在十个测试案例中有八个的响应速度提升了证据所以接受了这次修改结果。当搜索引擎B后来也出问题时后来的AI能立刻知道不必重复换回搜索引擎A这条已经被否决过的老路。**三、SkillHone的内部结构角色分工防止作弊**任何考试系统都面临一个根本矛盾如果出题人和答题人是同一个人考试就失去意义了。SkillHone在设计上非常优雅地解决了这个问题办法是把优化者和评估者严格分开分别赋予不同权限。SkillHone的整体架构由三个部分组成。第一部分是优化团队Optimization Agent Team负责阅读报告、形成诊断、提出修改方案。这个团队可以修改技能文件可以查看历史决策记录但完全看不到测试题的标准答案和评分标准。第二部分是评估团队Evaluation Agent Team负责用测试题测试当前技能分析失败案例生成报告。这个团队可以看到完整的测试题、标准答案和执行日志但不能修改技能文件。第三部分是调度器Dispatcher像一个居中传话的邮差负责把评估团队生成的报告但不是完整的答案传递给优化团队并记录每次决定的结果。关键在于评估团队传递出去的是脱敏报告而非原始数据。这份报告会总结哪些类型的任务失败了、失败的模式是什么、诊断假设是什么但不会暴露具体的测试题内容、标准答案或执行日志。这样一来优化团队真正理解了问题所在却无法通过背题来投机取巧逼着技能改进走真正有泛化能力的路子。研究团队把整个系统用一个公式描述为 M (Topt, Teval, D)其中Topt代表优化团队Teval代表评估团队D代表调度器。在每个开发步骤中评估团队先在评估仓库里用测试题运行当前版本的技能把结果整理成脱敏报告导出优化团队读取历史决策档案结合新报告提出修改诊断和方案评估团队再针对这个具体方案返回脱敏证据最终做出接受、修改、拒绝或暂缓的决定无论结果如何这条完整的决策记录都会被追加到历史档案中。在具体的角色分工上优化团队内部又细分为若干类型的任务模式。负责诊断的模式专门读取脱敏报告和历史档案产出诊断结论负责探索的模式在外部资源中搜寻可复用的经验负责开发的模式实际修改技能文件负责审查的模式用脱敏证据和历史记录评审待定改动负责决策的模式根据记录的证据做出最终接受或拒绝的判断。评估团队同样细分为执行者真正跑测试、诊断者分析失败模式、报告者生成脱敏报告和审计者检查评估一致性。每一个角色都被严格限定在自己的权限范围内这种限制是结构性的不依赖于提示词的约束因而更加可靠。技能本身存放在一个独立的技能仓库中包含SKILL.md主文件、各类脚本、参考资料和模板。测试资产存放在技能评估仓库中包含练习题、验证器、回归测试集和评估报告。两个仓库各司其职通过调度器协调而不是混杂在一起。SkillHone借助类似GitHub的工作流来实现决策历史的持久化Issue记录诊断出的问题Pull Request包含提出的修改方案合并或拒绝决定就是对应的最终记录。这种实现方式本身不是必须的但它让整个演化过程像代码开发一样可审计、可追溯。**四、用深度调研任务来检验没有搜索特权胜过有搜索特权的对手**研究团队选择了深度网络调研这个场景来验证SkillHone这个选择非常有代表性。深度调研任务要求AI代理在互联网上搜集信息、导航不同网站、提取关键内容、交叉验证结论并在搜索失败时找到替代路径。更重要的是这类任务天然面对变化中的环境网站会改版API会被限流某个数据源今天能用明天就可能消失非常适合检验一个技能在动态环境中的适应能力。实验使用了两个公开测评集。GAIA测评集由Meta和Hugging Face在2024年发布专注于多步骤信息检索和跨来源事实核查按难度分为L1、L2、L3三级。WebWalkerQA-EN由中科院等机构在2025年发布专注于网页导航和信息抽取。实验设置了两类比较环境。一类是精品搜索环境代表一个商业深度调研AI代理它有现成的商业搜索接口支撑不需要自己费心组织搜索流程。另一类是原始开放网络环境参与比较的所有系统都只有通用的AI运行时、公开的网络访问权限以及一组从ClawHub和SkillHub社区收集的现成搜索相关技能作为共同起点。这个起点技能包包含了十个社区技能涵盖web页面获取、学术搜索、DuckDuckGo搜索、DBpedia查询、多搜索引擎聚合等工具。所有参与原始开放网络比较的系统都从这同一个起点出发区别只在于各自如何改进这些技能。在这个公平起跑线上研究团队设置了四种对比条件。第一种是直接使用现有技能不做任何优化。第二种是用Skill-Creator对技能进行迭代优化。第三种是用Hermes-SE对技能进行反射式优化。第四种就是SkillHone带上完整的角色分离、脱敏反馈和持久决策历史机制。值得一提的是研究团队将优化阶段的控制器和执行评估的骨干模型明确分开。Claude Opus 4.6负责在开发阶段读取反馈、形成诊断、修改技能包它是脑力工作者。Qwen3.6-35B-A3B阿里通义团队2026年发布的混合专家模型负责在开发过程中跑技能、执行任务、在测评集上产出最终分数它是执行者。这种分离确保了最终结果反映的是技能本身的质量而不是某个特定模型的能力。**五、数字背后的故事优势究竟从何而来**实验结果用数字清晰地呈现了差距。在GAIA测评集上直接使用现有技能包得到了41.7%的平均准确率Skill-Creator优化后提升到44.1%Hermes-SE达到了50.4%而SkillHone达到了64.6%。在WebWalkerQA-EN上对应的数字分别是50.2%、38.1%、53.0%和66.4%。与那个拥有商业搜索接口支撑的深度调研代理相比后者在GAIA上的平均准确率是48.8%在WebWalkerQA-EN上是63.2%。SkillHone在没有任何特权搜索工具的情况下在GAIA上超过了它15.8个百分点在WebWalkerQA-EN上超过了3.2个百分点。细看GAIA的分级结果更能说明问题。在最简单的L1级别SkillHone76.2%与Hermes-SE73.8%差距不大。但在L2级别SkillHone66.7%远超Hermes-SE40.9%超过25个点。在最难的L3级别两者都是31.6%说明在极高难度下现有方法都还有提升空间。这个模式非常有意思任务越复杂越需要懂得什么时候广撒网搜索、什么时候深入跟随某个来源、怎么验证答案、怎么从死路中恢复SkillHone的优势就越明显。这恰恰印证了它的核心价值——不只是给AI更多工具而是让它学会在复杂情境下更聪明地组织和运用这些工具。研究团队还做了一个颇具说服力的迁移测试把SkillHone在Qwen3.6上优化出来的技能包直接拿去跑另一个完全不同的AI模型Claude Sonnet 4.6不做任何额外优化。结果SkillHone的技能包在Claude Sonnet 4.6上仍然达到了72.4%的GAIA准确率显著高于其他方法在同一模型上的表现Hermes-SE为62.2%直接使用现有技能为56.7%Skill-Creator为48.0%。这说明技能包本身的质量是真实的它编码的是可复用的任务处理逻辑而不是对某一个特定AI模型的量身定制。**六、拆开来看两个机制各贡献多少**为了弄清楚SkillHone的效果究竟来自哪里研究团队做了一组消融实验分别把两个核心机制单独去掉。第一个消融版本叫无决策历史——保留角色分离的结构但每次优化步骤都只从当前最新技能出发不积累历史记录用单一标量信号来驱动优化类似于Hermes-SE这样的反射式方法。第二个消融版本叫无角色分离——保留决策历史但允许单个子代理同时访问技能仓库和未脱敏的评估资产不做权限区隔。结果显示去掉决策历史之后GAIA准确率从64.6%降到51.2%降了13.4个百分点WebWalkerQA-EN从66.4%降到55.5%降了10.9个百分点。去掉角色分离之后GAIA降到58.2%降了6.4点WebWalkerQA-EN降到61.1%降了5.3点。由此可见决策历史对最终效果的贡献更大是两个机制中更核心的一个。角色分离的贡献同样显著因为它防止了优化过程走捷径——如果优化方和评估方共享所有信息改进就可能变成背答案而非真正提升能力。两个机制相互配合共同支撑了SkillHone的优势。**七、从实验室走进实际应用内部部署的18.8分进步**公开测评集的结果固然重要但研究团队更关心的是SkillHone能否在真实业务场景中发挥作用。为此他们选取了内部工作流中七个反复出现的工具辅助分析任务为每个任务提供初始种子技能然后让SkillHone在每个场景下独立优化最后用固定的精确匹配测试集评估优化前后的准确率差异。七个场景横跨不同类型的分析需求。在计数场景中SkillHone把准确率提升了30.0个百分点。在聚合场景中提升了26.3个点。在结构解析场景中提升了25.0个点。在密度估算场景中提升了23.1个点。在区间检索场景中提升了21.5个点。在过滤排名场景中提升了5.9个点。只有列表过滤这个场景没有变化保持稳定。七个场景的平均提升幅度是18.8个百分点。研究团队观察到提升最大的场景有一个共同特点初始技能的操作步骤描述得不够具体留下了太多模糊的空间导致AI在执行时经常走冤枉路。SkillHone通过积累决策历史逐步把这些模糊地带填补成清晰的操作规程。列表过滤场景之所以没有提升可能是因为初始技能的描述已经足够精确没有太多改进余地。这组结果说明SkillHone的价值不局限于某一类任务也不局限于公开测评的场景它对于任何需要反复维护和改进的AI技能都有实际意义。**八、与其他方法的本质区别**SkillHone所关注的问题角度与之前的工作有明显的不同值得单独说清楚。以DSPy为代表的提示词优化方法把整个AI流水线看成一个可以被编译优化的程序目标是在一次运行中找到最好的提示词组合。以Reflexion为代表的反射式方法让AI用语言反馈来指导自己的下一次尝试。以GEPA为代表的进化式方法对技能的各个组件产生变体、评估、选优在单次运行中迭代。这些方法都非常有价值但它们共同的局限是每次运行都是一个封闭的过程优化在一次运行内完成结果只是更好的产物而不是更完整的记忆。SkillHone的定位不是在一次运行中把技能改得更好而是让技能在任意多次运行中可以持续被改进并且每次改进都能从之前所有改进中汲取经验。这是一个不同的维度不在乎单次优化是否完美在乎的是长期迭代中不走回头路、不重复踩坑。与多智能体协作的研究相比MetaGPT等工作把多个AI角色组织起来完成复杂软件工程任务SWE-bench系列则评估AI在真实GitHub问题上的表现。SkillHone借鉴了角色分工的思路但把它用在了一个完全不同的目的上不是解决具体任务而是持续维护和改进解决任务所用的工具本身。**九、一个具体的优化轨迹看清过程中的每一步**论文附录中提供了一个深度调研技能的完整优化轨迹非常值得细看因为它把上面所有抽象的概念都具体化了。从同一个只有Wiki搜索能力的种子技能出发SkillHone和Hermes-SE同步进行了五轮优化。第一轮SkillHone诊断出需要加入DuckDuckGo搜索作为备选同时改善错误处理和时间管理这次修改被接受探针准确率从30%附近提升到约60%。在实际修改的文件层面SKILL.md主文件新增29行、删除13行同时新建了ddg_search.sh、wikidata_lookup.sh等多个脚本文件。第二轮进一步引入真实网页抓取能力和提前落笔策略但附带了过于严格的预算限制准确率出现了回退这次修改依然被接受但问题被记录在档。第三轮优化团队通过查阅历史记录识别出前两轮各自的优缺点合并了两轮的优势回退了过严的预算限制并保留了轻量级验证策略准确率回升。第四轮针对名称格式问题和SPARQL查询能力做了精准修补新增了wikidata_sparql.py脚本。第五轮检测到第四轮的预算设置又收紧过度通过决策历史迅速定位问题回退预算参数同时保留了名称规则和SPARQL改进最终准确率达到约70%比Hermes-SE的终点高出30个百分点。Hermes-SE在同期五轮中的轨迹完全不同。它每轮产生整体候选方案用标量信号评判多次遇到方案在整体信号上不够好因此跳过的情况最终在探针准确率上只到了约40%附近。最关键的差异在于第二和第三轮SkillHone能够有针对性地撤销回退的具体部分、保留成功的部分而Hermes-SE只能整体接受或整体拒绝。这个轨迹非常直观地展示了决策历史的实际价值第三轮的合并操作如果没有前两轮的完整记录根本无法做到如此精准。---说到底SkillHone解决的是一个在AI应用快速落地的今天越来越紧迫的问题AI代理不应该每次都从零开始学教训。我们给AI配备了越来越多的工具和技能却一直忽视了一件事——怎么让它记住自己优化技能时的心路历程而不只是记住优化的结果。这项研究给出的答案是用结构化的决策档案取代单一的产物交接用权限分离的角色协作取代单一代理的封闭循环让每一次诊断、每一次尝试、每一次评估结果都成为下一次改进的可查阅资产。在GAIA测评上超越商业搜索代理15.8个百分点、在内部业务场景平均提升18.8个百分点这些数字背后的机制并不神秘它只是在做一件人类工程师早就习以为常的事好好记录你改了什么、为什么改、结果怎样。不过研究团队也坦诚地指出了当前的局限SkillHone目前每次只优化一个独立的技能而现实中的AI工作流往往包含多个相互依赖的技能。如何让多个技能协同演化、处理它们之间共享资源的竞争和故障模式的重叠是这个方向下一步需要面对的挑战。对这个话题感兴趣的读者可以通过arXiv编号2606.08671找到完整论文代码和技能包则开放在GitHub的Tencent/SkillHone仓库。---QAQ1SkillHone和普通AI技能优化方法有什么区别A普通技能优化方法在一次运行结束后只保留最终改进的技能文件丢弃了整个优化过程中的诊断、尝试和评估记录。SkillHone会把每次修改的原因、方案、评估证据和最终决定完整记录下来形成持久的决策档案让下一次优化可以直接查阅历史避免重复踩坑或撤销已经被验证过的改进。Q2SkillHone为什么要把优化方和评估方分开不让它们共享信息A如果优化方能直接看到测试题的标准答案和评分规则改进就会变成背题而非真正提升能力优化出来的技能在新任务上表现会很差。分开权限后优化方只能看到脱敏的失败模式报告被迫真正理解问题所在改出来的技能才有真正的泛化能力。消融实验也证明去掉角色分离会让GAIA准确率下降6.4个百分点。Q3SkillHone优化出来的技能换一个AI模型还能用吗A可以。研究团队用Qwen3.6-35B-A3B优化出的技能包直接放到Claude Sonnet 4.6上运行不做任何额外优化GAIA准确率仍然达到72.4%显著高于其他方法在同一模型上的结果。这说明技能包编码的是可复用的任务处理逻辑而不是对某个特定模型的专属适配。