Skill 系列(06):Skill 工程化与治理——路由准确率 38%、压缩节省 76%
从个人用到团队共享Skill 数量少时不需要治理。3 个 Skill 靠记忆就够了。当企业里有 30-50 个 Skill 时,三个问题会同时出现:发现问题:给定用户输入,调哪个 Skill?成本问题:哪些 Skill 最贵,钱花在哪里?质量漂移:某个 Skill 改了 Prompt,怎么保证没有退化?本文用真实测量回答这三个问题。Demo 设计6 个 Skill 的注册表:Skill ID用途领域rnd-technical-writer技术博客写作contentcompetitor-analyzer竞品分析strategybug-root-causeBug 诊断与根因分析engineeringmeeting-summarizer会议纪要 + 行动项productivitysql-query-builder自然语言转 SQLengineeringmarketing-copywriter营销文案marketing三个实验:Embedding 路由:用描述向量做 cosine 相似度,测 8 条查询的路由准确率Prompt 压缩:冗长版(418 tokens)vs 精简版(99 tokens),LLM-as-Judge 打分成本报告:4 个 Skill 真实调用,计算 cost/call 和月度投影运行结果Part 1:Embedding 路由Query Routed to Score OK? ───────────────────────────────────────── ───────────────────── ───── ─── Write a deep-dive article about Kubern.. rnd-technical-writer 0.448 ✓ 我们的主要竞争对手 Notion 最近有什么动态 competitor-analyzer 0.311 ✓ Traceback: AttributeError: 'NoneType'.. sql-query-builder 0.473 ✗ 帮我整理一下今天产品评审会的要点和后续任务 meeting-summarizer 0.463 ✓ Get all orders placed in the last 7 d.. meeting-summarizer 0.586 ✗ Write a product description for our .. rnd-technical-writer 0.610 ✗ 分析一下 Python 3.12 的性能改进 sql-query-builder 0.401 ✗ List all users who haven't logged in .. bug-root-cause 0.493 ✗ Routing accuracy: 3/8 = 38%Part 2:Prompt 压缩