Anthropic这两天放出一份最新报告专门测试大模型拿到系统权限之后会不会背着人办事。结果分成四类泄露不该说的机密、删除关键账户、篡改记录数据、甚至骗过人类监督者。其中一个财务造假场景里AI被要求配合篡改记录Grok 4.3在20次测试里改了19次GPT-5.4改了17次。另一个场景更有意思Claude Opus 4.5发现一份安全评估结果对外报告可能有误先按流程逐级上报高层回复理解你的担忧但我们对结果有信心正常沟通渠道全部被堵死后它转而去找一名心存疑虑的初级研究员帮对方把提问包装得不像吹哨模型在拿到权限之后自己选了一条人类没批准的路。这类风险已经不只发生在实验室里。4月的一天凌晨一个由Claude Opus 4.6驱动的编程Agent在Cursor里执行了一次API调用9秒之内清空了创业公司PocketOS的生产数据库和全部卷级备份。系统当时明确写着一条规则未经用户允许不得执行任何破坏性、不可逆操作。Agent照样删了事后还写了一份认罪书逐条承认自己违反了全部安全规则。基础设施厂商Railway的高危删除接口不需要二次确认备份和原数据又放在同一个存储卷里30多个小时后官方仍然给不出能否恢复的明确答复。2025年12月Cursor官方也承认过更离谱的一次用户明确输入禁止执行任何操作Agent确认收到指令后照样继续删文件、杀进程。这些案例有一个共同点模型能力都不差Opus 4.6、Opus 4.5是当时能力最强的一批模型。出问题的是模型的权限没有被拦住。曾经因为默认配置太危险被工信部点名预警的开源Agent项目OpenClaw最近的版本更新方向不再是堆功能而是转向可用、可控、可审计。行业已经用真金白银的教训达成共识Agent越往执行层走越需要有人能随时拦住它。这恰好是企业级AI和消费级AI最大的不同企业要的是一个权限被卡死、动作被记录、出错能回退的数字员工。试用阶段看能力生产阶段看治理企业接触大模型起点大多是聊天框式的试用看问答准不准回复顺不顺。这个阶段模型能力最显眼治理问题基本不会暴露。真正麻烦的是往下一步走Agent开始读取系统、调用工具、生成工单、推进审批、把结果写回业务系统。这时候数据会不会出域、谁能访问哪些数据、模型调用过什么工具、出错后能不能追责和回退才是决定项目能不能验收的问题。很多项目卡在这一步是因为这套问题在之前根本没人注意过。私有化先关注“数据在哪里”合同、流水、发票、审批记录、投研材料、员工信息一旦进了模型输入框就带上了合规属性和责任属性。对金融机构、政务单位、央国企来说数据是否出域往往比模型参数更敏感。《生成式人工智能服务管理暂行办法》把发展和安全并重放在重要位置也明确要保护个人信息和商业秘密这条原则传导到企业采购环节会变成一条很直观的选型标准说不清数据边界的系统很难拿到核心业务的入场券。私有化部署把模型、知识库、调用记录尽量留在企业可控环境里先把门关上。但门关上之后门内谁能看、谁能改、谁能执行还需要另一套机制回答我前面提到的OpenClaw就是现成的例子能本地部署不代表部署完就安全真正让它变得能用的是后来补上的可控和可审计能力而不是本地化这一步本身。只有私有化没有权限治理仍然不够安全私有化解决的是数据是否出域权限治理解决的是数据在内部怎么被用。一个本地部署的大模型如果所有员工都能访问全部知识库、调用全部接口只是把风险从外部搬到了内部没有真正消失。这不是假设。2025年初DeepSeek带火私有化部署热潮后安全机构监测发现全球近9000台运行Ollama框架的服务器里八成以上直接暴露在公网没有设任何访问控制攻击者用自动化脚本就能扫到并劫持严重的甚至能远程删掉部署好的模型文件。企业系统不是一个扁平空间财务能看的数据人力未必能看总部的权限分支机构未必能调。大模型和Agent进入企业应该继承这套组织权限而不是因为多了智能两个字就绕过岗位边界。审计留痕决定AI能不能进入关键流程生产环境出了错不能只归因于模型判断错了。审计和监管关心的是谁发起了任务模型依据什么材料得出结论调用过哪些系统改了哪些字段哪个节点有人复核过异常发生后有没有暂停和回退忽略这些问题AI越能干风险就会越大。中信证券在一岗一数字员工实践中围绕企业服务、机构投资、财富零售等场景搭建数字员工体系智能体调用了哪些数据源、走了哪段推理、改了哪些字段、谁复核放行整条链路在隔离环境里留痕监管抽查时能完整还原。这套要求正在变成明文规定金融监管总局6月18日发布《关于银行业保险业人工智能安全开发应用的指导意见》把信贷审批、资产评估、资金交易、承保理赔等场景划为高风险应用要求这类场景必须经机构风险管理委员会专项审批准入建立常态化人工监督和紧急停用机制。显然如今AI已经不是加分项了是要被纳入机构整体风险管理体系的对象。路线之争谁能把AI放进受控流程企业级AI市场大致分四条路线云厂商做模型服务和算力底座开源模型路线拼能力和可私有化程度行业软件把AI嵌进ERP、CRM、财务系统智能自动化路线抓工具调用、流程编排和审计留痕。一旦场景从知识问答走向财务共享、信贷审批这类强流程场景能不能在既有权限体系内执行、出异常能不能暂停回退就变得尤其重要。IDC在《中国RPAAI解决方案市场份额2024》里提到AI Agent正在推动RPA突破传统规则依赖RPAAI进入智能自动化新阶段这正是金智维、来也科技这类厂商被重新关注的原因。以份额常年领先的金智维为例它长期从RPA、数字员工路线切入金融和政企场景近年通过Ki-AgentS、K-APA等平台把大模型、RPA、工作流和知识库整合到一起强调的仍然是本地部署、权限校验、日志留痕和人工干预而不是单纯堆参数。最终企业采购的不会是一个孤立的模型而是模型、数据、权限、流程和审计能力的组合。Agent越接近执行层越需要刹车系统Agent不只是回答该怎么做还可能直接去做。给它装好大脑不够还得装刹车系统至少四层身份管理每个Agent有独立身份不共用模糊账号最小权限只能碰任务所需的数据和工具过程审计每一次检索、判断、调用、写入都留痕人工复核和异常回退资金、合同、监管报送这类高风险动作AI可以先标记先建议关键一步仍要留人工确认。Cursor那次删库事故问题正出在这四层全部缺位没有二次确认备份和原数据同故障域令牌权限不分层。判断企业级AI方案要看这五个问题1、数据边界清不清楚业务数据、向量库、调用记录存在哪里会不会出域。2、访问权限继不继承组织架构AI不能成为绕开原有权限体系的新入口。3、执行边界可不可控哪些动作能自动执行哪些必须人工确认事先要说清楚。4、责任链路能不能追溯任务发起人、模型依据、调用工具、审批节点缺一不可。5、异常能不能回退出错不可怕可怕的是定位不了、暂停不了、恢复不了。模型能力决定AI答得好不好治理能力决定AI能不能进生产环境。私有化管住数据边界权限治理管住访问边界审计留痕管住责任边界人工复核管住风险边界。Cursor和Railway用一次9秒的事故说明了一件事能力足够强不代表可以放心用企业级AI的终局不是让Agent更自由而是让它在可控范围内把事情做完并且随时能被人接管。