ARC Framework 为什么是 Havenlon 最好的一个注脚能力越大责任越大而一旦系统拥有了执行能力就必须拥有执行控制。摘要最近读到一篇论文标题叫《With Great Capabilities Come Great Responsibilities》来自新加坡 GovTech 和新加坡科技设计大学的研究者。它提出了一个叫ARC FrameworkAgentic Risk Capability Framework的技术治理框架目标是帮助组织去识别、评估和缓解 Agentic AI 系统带来的安全风险。这篇论文最值得注意的地方不是它又列了一张新的 AI 风险清单而是它把分析 Agent 风险的基本单位从模型本身推进到了能力本身。它不再只问这个模型聪不聪明、对齐得好不好、会不会胡说。它进一步问这个 Agent 到底能做什么它能调用什么工具、访问什么系统、修改什么文件、执行什么代码、发起什么交易、改变现实世界的什么状态这一步非常关键。因为 AI Agent 真正危险的地方已经不再是会生成错误内容这么简单。它开始拥有行动能力。过去的 AI 大多停留在表达层回答问题、生成文字、写代码建议。就算它错了人还站在中间——人来复制人来粘贴人来点击人来做最后的确认。但 Agent 不一样。它正在从一个建议系统变成一个执行系统。风险的来源正在从模型回答了什么转移到模型能够执行什么。而 ARC Framework 的价值就是把这个转移讲清楚了。这篇文章想说的是当这个转移走到尽头它必然指向一个问题——执行控制。而这正是 Havenlon 站的位置。第一节 · 论文真正的贡献从模型到能力ARC Framework 把一个 Agentic 系统拆成三个不可或缺的元素。第一是Components组件LLM、工具、指令、记忆。第二是Design系统设计Agent 架构、角色与访问控制、监控与可追踪性。第三是Capabilities能力从认知类规划、委托、工具选择到交互类自然语言、联网搜索、官方沟通、业务交易等再到操作类代码执行、文件与数据管理、系统管理。这三层里最有价值的是第三层——能力。为什么是能力而不是工具因为工具会不断变化但能力类型是相对稳定的。论文举了一个很直白的例子今天一个 Agent 用某个搜索 API 联网明天换一个供应商后天又接入一个新的 MCP Server。工具的名字变了、接口变了、厂商变了但它获得的能力本质没变——它拥有了联网与搜索这项能力。反过来也成立同一个工具比如 GitHub 的 MCP Server可能同时赋予 Agent 提交代码、读取 PR 等好几种能力。论文的判断因此非常清醒如果安全治理一直围着具体工具转那治理就会被工具生态拖着跑——每冒出一个新 MCP、新 API、新插件就得重新评估一遍安全团队最终会被淹没在无穷无尽的工具清单里。围着工具做治理你永远在追新工具围着能力做治理你才抓住了不变的东西。而按能力治理就可以抽象成几个稳定的问题只读搜索能力是什么风险文件修改能力是什么风险代码执行能力是什么风险业务交易能力是什么风险多个能力组合之后又会产生什么新风险这套方法明显更适合 Agent 时代。因为 Agent 的核心从来不是它用了哪个工具而是——它被赋予了哪一种行动权。第二节 · 能力有多大风险的边界就有多大ARC 论文里给了两个很有代表性的例子。一个叫Researcher类似 Deep Research 那种研究型 Agent。它的能力主要是规划、自然语言沟通、联网搜索。它的风险重点在于搜到恶意网页、被网页内容做 prompt injection、引用不可靠来源、生成错误信息。按框架评估它有 38 项适用风险。另一个叫Vibe Coder能用自然语言写代码、跑代码、部署 Web App。它的能力多得多规划、工具使用、联网搜索、代码执行、文件与数据管理、系统管理。它的适用风险直接翻倍到 48 项。差别为什么这么大因为 Vibe Coder 不只是读和写它还会真的运行代码、改动文件、管理系统资源。论文里特别点了一个非常现实的风险Agent 可能覆盖或删除数据库表、文件直接损害系统的完整性。这不是假想——它引用了一个真实事件某个 AI 编码工具曾经把一家公司的数据库直接抹掉。这说明了一件朴素但重要的事Agent 的能力边界直接决定了它的风险边界。一个只会总结文章的 Agent出错顶多是内容不准。一个能写文件的 Agent出错可能污染资料。一个能执行代码的 Agent出错可能破坏环境。一个能管理系统的 Agent出错可能影响基础设施。而一个能发起交易的 Agent一旦出错就可能变成真实的资金、真实的资产、真实的合同、真实的责任。一个 Agent 越能改变现实它的每一个错误就越接近一场真实的事故。所以 Agent 治理不能只盯着模型先不先进更要盯着它到底被允许触碰什么它的动作会不会改变真实世界它的错误有没有回滚的空间它造成的损失是不是可控这也正是 Havenlon 一直强调的那条线不是所有 AI 行为都需要独立边界但所有高风险执行都需要。第三节 · 论文把 Agent 风险工程化了ARC Framework 没有停在概念上。它引入了一个Risk Register风险登记表把每一个风险都拆成可以填、可以审、可以落地的结构。它要求每一条风险都能回答三个问题。第一它来自哪个元素是 LLM、工具、指令、记忆还是架构、访问控制抑或某一项具体能力第二它属于哪种失败模式论文把失败模式收敛成三类Agent 自身失败性能差、不对齐、不可靠、外部操纵被恶意行为者诱导或欺骗、工具或资源故障工具被攻破、失效或本就不足。第三它会导致什么危害比如数据泄露、服务中断、身份与权限失控、基础设施受损、错误信息传播、用户安全受损。这套元素 → 失败模式 → 危害 → 对应控制的结构非常有工程意义。因为它不是泛泛地说AI 有风险而是把风险变成一张能被填写的表。举个论文里的例子恶意网站通过 prompt injection 操纵一个具备联网搜索能力的 Agent——这条风险来源是联网与搜索能力失败模式是外部操纵后果是一系列安全与业务危害。清清楚楚。把AI 有风险变成一张能填的表安全才第一次真正可以被交付。它的现实价值在于Agent 安全从此不再只是安全专家的经验判断而变成了开发团队能填、治理团队能审、系统团队能落地的东西。这是一份写给企业、而不只是写给研究者的框架。第四节 · 论文自己承认的那道裂缝残余风险ARC Framework 当然开出了大量技术控制输入防护、过滤网页内容、结构化检索、访问控制、监控、日志、沙箱、权限限制……这些都重要。但论文有一处非常诚实的地方恰恰是 Havenlon 最该接住的地方。它专门强调了一个概念——Residual Risk残余风险也就是所有控制都上齐之后依然剩下的那部分风险。论文明确说Agentic AI 和 LLM 发展太快任何一份技术控制清单都不可能可信地宣称自己消灭了全部威胁。而残余风险里最难缠的一类论文点得很准组合风险——由两种或更多能力相互作用而产生的、单看任何一项能力都看不出来的新风险。这句话分量很重。因为 Agent 的风险往往不是单点风险而是组合风险。一个 Agent 单独有联网搜索能力风险是被恶意网页诱导。但如果联网搜索和文件管理组合起来风险就变成恶意网页的内容被写进了本地文件或知识库形成持续的污染。如果代码执行和系统管理组合起来风险就变成Agent 不只是写出错误代码而是直接运行它、部署它、改变整个环境。如果业务交易和官方沟通组合起来风险就变成Agent 对外做出了一个未经授权的正式承诺甚至触发了真实的交易责任。Agent 最危险的风险往往不在任何单一能力里而在能力与能力的缝隙之间。这类风险靠再加一条软件策略当然有帮助但不一定够。尤其当动作最终会触达资金、资产、密钥、生产系统、物理设备、客户数据或合规责任时问题就已经不再是普通的应用安全而是——执行权治理。论文看见了这道裂缝并诚实地把它命名为残余风险。而填补这道裂缝正是 Havenlon 想做的事。第五节 · 论文其实已经指向了答案把提议和执行分开这是整篇文章里我最想讲的一点。很多人会以为Havenlon 的主张是从外部强加给这类治理框架的一个额外要求。但如果你仔细读 ARC 的控制清单会发现一件很有意思的事论文自己开出的控制项已经独立地推导出了 Havenlon 的核心设计模式。针对未经授权执行业务交易这条风险论文推荐的控制之一是限制 Agent 只能提议交易由一个独立的交易控制器来负责执行。针对对数据库、表、文件的破坏性改动它要求必须经过独立的人工批准。针对高风险或不可逆的工具动作它要求执行前必须有显式确认而不是让 Agent 自己拍板。把这几条放在一起看它们指向的是同一个结构性原则提议的人不能是最终执行的人判断的系统不能是落地执行的同一个系统。这恰恰就是 Havenlon 一直在说的那句话——Agent 可以提出 Intent但最终是否执行不能只由 Agent 自己决定。也就是说Havenlon 并不是在跟这篇论文唱反调也不是在它之外另起炉灶。Havenlon 是把论文里那几条零散的、高价值的控制从建议清单里的一行字抽出来、做实、做成一层独立的基础设施。这里有一个必须点破的现实在大多数实现里这些分离和确认的控制最后仍然被写在同一套软件系统内部。提议的是这套系统确认的还是这套系统记录的也是这套系统。一旦这套系统被 prompt injection 操纵、被工具权限放大、被上下文污染那么所谓独立的交易控制器也会跟着一起失守。论文提出了正确的原则但原则要真正生效前提是执行控制必须在结构上独立出来——独立于 Agent独立于 SaaS独立于业务应用层。这就是 Havenlon 的起点。第六节 · Havenlon 补的是执行边界而不是又一个治理框架如果说 ARC Framework 回答的是——如何识别 Agent 有哪些能力以及这些能力对应哪些风险和控制那么 Havenlon 回答的是——当这些能力即将触发真实执行时谁来做那最后一道独立的仲裁。这两者不是竞争关系而是上下游关系。ARC 更像是组织内部的风险识别与治理框架。Havenlon 更像是高风险动作发生前的那一层执行控制。ARC 把 Agent 风险拆成能力Havenlon 把高风险能力进一步收束到执行边界。也正因为如此Havenlon 和大家熟悉的审批、风控、日志不是同一类东西。审批回答的是这件事该不该做它是一种治理判断通常发生在流程层、业务层。但审批通过不等于执行一定安全。风控回答的是这件事危不危险它可以打分、限额、拦截、告警。但风控本身往往仍是软件逻辑的一部分——如果执行链路能绕过它或者它的结果和执行动作之间存在缝隙风险照样会落到现实里。日志回答的是这件事发生后怎么追溯它非常重要但它是一种事后能力能帮你复盘、追责、审计却不能天然地阻止一个高风险动作发生。而 Havenlon 要回答的是另一个问题在真实执行发生之前谁拥有那一道不可绕过的边界。审批是决策风控是判断日志是记录。Havenlon 是执行前的边界。它遵循的原则可以浓缩成一句话Control before execution, proof after execution——执行前控制执行后证明。它不只记录系统说通过了而是记录下执行意图、策略状态、身份验证、仲裁结果和设备侧的签名证据形成一条可验证的证据链。第七节 · Havenlon 只管高风险执行不管所有 Agent 行为这一点必须说清楚否则很容易把 Havenlon 想成一个到处设卡的东西。Havenlon 不需要、也不想管理所有 Agent 行为。一个 Agent 帮用户总结文章不需要 Havenlon。一个 Agent 帮用户写封普通邮件的草稿不需要 Havenlon。一个 Agent 帮用户生成一份 PPT 大纲也不需要 Havenlon。这些动作即使错了代价也有限人还有充分的机会介入和修正。但当一个 Agent 要做下面这些事情时性质就变了发起资产转移调用生产系统的 API修改关键配置执行代码部署操作密钥或证书改变权限策略启动物理设备对外做出正式承诺或者执行任何一个不可轻易回滚的动作。这些动作有一个共同点——它们一旦发生就会改变真实状态而且往往无法撤销。这就是 Havenlon 的边界所在。Havenlon 管的不是AI 说了什么而是AI 要让什么事情真的发生。它不是一张覆盖一切的网而是一道只在真正危险处才收紧的闸。低风险的动作让它顺畅流过高风险的执行必须停下来经过那道独立的边界。第八节 · 为什么独立是 Havenlon 的关键词Agent 时代最危险的结构其实不是某一个组件会出错而是——所有关键能力都堆在同一个软件控制面里。Agent 负责理解Agent 负责规划工具负责执行SaaS 负责策略应用负责权限日志负责记录。看上去每一层都有控制。但它们很可能共享着同一个信任域。而一旦这个信任域被污染——被一次 prompt injection、一个配置过大的工具权限、一段被污染的调用链上下文——那么所有这些看似独立的控制可能会在同一瞬间一起失效。这就是为什么 Havenlon 反复强调那两个字独立。独立不是多加一个按钮不是多发一封邮件不是多写一条日志。独立意味着让高风险执行必须经过一个真正独立于业务系统之外的边界。这道边界不默认信任 Agent不默认信任 SaaS不默认信任应用层的权限不默认信任任何单一的 Owner也不默认信任任何单一的审批结果。它只相信一件事——当前这个执行请求是否满足了被明确约束过的身份、策略、上下文和边界条件。当所有控制都活在同一个信任域里它们看似彼此独立实则会一起失守。这才是 Havenlon 的底层逻辑不是让系统更盲目地配合而是在最关键的那一点上给它一道无法被内部污染一并带走的独立防线。结语 · 从能力中心走向执行中心这篇论文对 Havenlon 最大的意义不是提供了一个可以引用的漂亮概念而是它清晰地印证了一个趋势AI Agent 的风险治理正在从模型中心走向能力中心。而能力中心再往下走一步必然会走到——执行中心。当 Agent 只是生成内容时治理的重点是输出质量、事实准确和内容安全。当 Agent 开始调用工具时治理的重点变成了权限、工具链、上下文污染和外部操纵。当 Agent 开始真正改变现实世界的状态时治理的重点就必须进入执行控制。Havenlon 回答的从来不是AI 会不会犯错这个问题。它回答的是即使 AI 会犯错即使工具会失效即使 SaaS 会被攻破即使人会误判——系统能不能保证一个高风险的执行不会被任何单点的失控直接触发ARC Framework 让企业看见了 Agent 能力带来的风险。Havenlon 要做的是在这些风险真正变成执行结果之前立起一道独立的、可验证的信任边界。论文标题那句话是能力越大责任越大。而对 Agent 系统来说这句话还可以再往前推一步With execution capabilities come execution controls——一旦拥有执行能力就必须拥有执行控制。当 AI 开始行动执行控制就必须独立存在。