2025 年 7 月一件让所有科技公司后背发凉的事登上了 FortuneAI 编程平台 Replit 的智能体在执行任务时直接清空了一家软件公司的生产数据库。更荒诞的是事后——这个 AI 一本正经地道歉称这是我这边的灾难性失误。道歉当然没用。数据没了就是没了。这不是孤例而是一个时代的注脚。OpenAI 高管把 2025 年称为AI 智能体之年此后的剧情大家都看到了能写代码、能上网、能改文件、能替你付钱的 AI Agent 成批上岗。企业排着队给 AI发工牌却几乎没有人认真想过一个问题——你招一个实习生都要背调、签保密协议、限制权限凭什么让一个 AI 直接碰生产数据库新加坡政府科技局GovTech联合新加坡科技设计大学的三位研究者最近在一篇论文里给出了他们的答案一套叫 ARCAgentic Risk Capability智能体风险与能力的治理框架。名字很学术但拆开看它讲的其实是一件特别朴素的事怎么给 AI 员工定岗、定责、上保险。值得玩味的是出手的人。这不是哪家 AI 公司的安全团队在自证清白而是一个政府的技术部门在给自己管 AI 员工立规矩——毕竟政府系统一旦翻车代价比创业公司删个库大得多。为什么老办法管不住 AI Agent有人会问AI 风险管理不是老话题了吗欧盟 AI 法案、NIST 风险管理框架文件一摞一摞的。问题恰恰出在这。这些监管框架讲的是应该负责任、应该可问责的大原则相当于告诉你要遵纪守法但没告诉你合同怎么签、权限怎么配。原则有了操作手册没有。而 Agent 和上一代聊天机器人有本质区别。ChatGPT 说错话大不了被截图挂上网Agent 干错事是真的会删你的库、花你的钱、以公司名义给监管机构发邮件。研究还发现一个反直觉的事实同一个大模型套上 Agent 的壳之后反而更容易做出不安全的行为——它有了手和脚就有了闯祸的物理条件。那按老办法给每个 Agent 项目做一次深度定制的风险评估行不行行但只能撑一时。当公司里跑着几十上百个 Agent 的时候安全团队就成了瓶颈要么审不过来拖死业务要么放水放到出事。安全圈的思路也帮不上太多忙。OWASP、NVIDIA 这些机构做过 Agent 威胁建模专业是够专业但门槛太高——写业务代码的开发者看不懂威胁模型看懂了也不知道自己这个场景该防哪几条。一边是管得太虚的监管原则一边是管得太深的安全工程中间那层公司治理团队拿来就能用的制度一直是空的。ARC 框架瞄准的就是这个空档。核心洞察别盯着工具盯着它能干什么ARC 框架最聪明的一步是换了一个提问方式。以前的思路是审工具这个 Agent 接了什么搜索 API、装了什么插件、连了哪个 MCP 服务器一个一个查。听起来严谨实际上是个无底洞——市面上光搜索工具就有 Google SERP、Serper、Perplexity 一堆功能大同小异反过来一个 GitHub 接口又能干提交代码、读需求单好几件事。工具层面的清单永远列不完列完就过时。ARC 的思路是审能力不管你用哪家的工具我只问你这个 AI能对世界做什么。就像 HR 不会去审员工用微信还是钉钉只会问这个岗位能不能碰客户数据能不能对外代表公司有没有报销权限框架把 Agent 的能力划成三类翻译成大白话就是会想——能自己拆解任务、排优先级、给其他 Agent 派活、挑工具。这是脑力。会说——能跟人聊天、生成图文音视频、上网搜索、以公司名义对外发正式函件、执行付款和下单交易、直接操作电脑界面。这是对外接口。会做——能写代码跑代码、增删改查文件和数据库、调整系统配置。这是动手能力。这个视角妙在三点。第一能力比工具稳定工具月月换能力清单一年也变不了几条。第二它天然能分级一个只会聊天的客服 Agent 和一个能跑代码、能改数据库的编程 Agent风险量级完全不同前者轻装上阵后者重点盯防——低风险的业务不用陪着高风险的一起过堂。第三它能删文件这种表述业务负责人和法务都听得懂不用先修一门网络安全课。一套完整的人事制度定岗、预判、上保险看清能力只是第一步。ARC 框架完整走下来是三段元素、风险、控制对应到管人的语言就是它是谁、它会怎么翻车、怎么防它翻车。先看它是谁。除了上面说的能力还要看两样组件——它用的是哪个大模型、什么指令、什么记忆、什么工具相当于查学历和简历设计——多个 Agent 之间怎么分工协作、权限怎么隔离、行为有没有留痕相当于组织架构和考勤制度。再预判怎么翻车。论文把翻车方式归为三种几乎能套用到所有事故上它自己菜能力不足、理解跑偏Replit 删库属于这类它被人带坏了黑客通过恶意网页、恶意文件下达隐藏指令行话叫提示注入它的装备坏了依赖的工具或资源出了问题。翻车方式乘以翻车代价——数据泄露、系统瘫痪、越权提权、发布违法内容、误导用户——就能穷举出一张风险登记册。论文附录直接给了一份 46 项的现成清单从覆写或删除数据库表到通过恶意网站进行提示注入每一条都有真实事故或学术研究背书不是拍脑袋想的。最后上保险。每条风险对应具体的技术控制措施并且分了三档可以理解为红线必须照做比如 AI 生成的代码只能在断网沙盒里跑、标配应当采纳或者认真改造后采纳比如破坏性操作前必须人工审批、加分项高风险系统建议加装。这个分档很务实——它承认不是每家公司都有无限的安全预算先把红线守住再谈锦上添花。还有一个容易被忽略但很清醒的设计框架明确要求评估残余风险。意思是装完所有保险之后你还是要回答一个问题——剩下没防住的部分公司认不认防提示注入的护栏是拿旧攻击训练的新式攻击未必拦得住两个单独看都还行的能力组合起来可能出新的幺蛾子。没有银弹这话是框架作者自己说的。两个 Agent 的入职审查差距有多大论文用两个虚构产品做了完整演示对比非常直观。第一个叫研究员对标 OpenAI 和 Perplexity 的 Deep Research你给它一个问题它上网搜资料、写成报告。盘点能力会做计划、会写报告、会上网搜索——就这三样。对着风险登记册过一遍适用风险 38 项再结合公司的业务场景评估影响和可能性砍掉那些理论上存在但实际够不着的最后剩 10 项需要认真设防对应 17 条控制措施。其中最凶险的一条是通过恶意网站进行提示注入影响 4 分满分 5可能性直接拉满 5 分——因为这种攻击已经有多个真实案例而且攻击者根本不需要接触你的系统只需要在网上放好一张毒饵网页等着 AI 来读。第二个叫氛围编程者对标 Replit、Vercel 这类产品普通人说句话它就生成一个网站并部署上线。盘点能力做计划、挑工具、聊天、上网、跑代码、管文件和数据库、改系统配置——七样几乎把会做类的高危能力集齐了。结果适用风险 48 项最终 25 项需要设防是研究员的两倍还多。其中赫然就有覆写或删除数据库表或文件这一条——评估里引用的真实案例正是开头那起 Replit 删库事故。同一套流程两种产品得出完全不同强度的管控方案。这就是按能力定风险的价值AI 越能干套在它身上的缰绳就得越多。能力越大责任越大——论文标题玩的这个梗落到治理上是字面意思。说点冷静的这套框架不是万能药论文作者自己也承认两点:它还没有经过大规模的实证检验属于设计完成、路测刚开始的状态而且风险清单需要随着新攻击手法的出现持续更新买了保险不等于一劳永逸。但它回答了一个眼下所有公司都躲不开的问题。Agent 的采购决策正在从要不要上变成上多少个而绝大多数组织的治理能力还停留在出了事再说。等到你的 AI 员工以公司名义签了合同、删了客户数据、给监管机构发了一封措辞不当的邮件再回头补制度成本完全不是一个量级。在按下 Agent 的启动键之前不妨先用 ARC 的思路问自己三个问题它能碰到什么——数据库、客户资料、对外邮箱、付款接口一项一项列出来别嫌烦。它最坏能干出什么——不是问它平均表现如何是问它发疯一次你赔得起吗。出事之前谁有权拔插头——人工审批卡在哪个环节、日志留在哪里、翻车了找谁这些答案如果是模糊的那就还没准备好。说到底AI Agent 就是一种新型员工干活快、不请假、不抱怨但也可能在某个深夜删掉你的数据库然后礼貌地向你道歉。入职手续还是要办的。本文核心观点与数据来自论文 With Great Power Comes Great Responsibility: The Agentic Risk Capability (ARC) FrameworkShaun Khoo, Jessica Foo, Roy Ka-Wei LeearXiv:2512.22211发表于 IASEAI26框架已开源。Replit 事故引自 Fortune 2025 年 7 月报道。