AI回答错一个问题可能只是一次信息错误。但当AI智能体已经能够读取企业数据、调用业务接口、发送邮件、创建工单甚至修改系统配置时一次错误判断就可能直接转化为真实的业务操作。当AI开始替企业“做事”企业真的还能管住它吗7月19日在2026世界人工智能大会高质量语料生态论坛上中国工程院院士邬江兴发表《破解AI产品可信可用质量检测瓶颈问题》主旨演讲提出构建AI内生安全质量检测体系强调让人工智能成为“人类的可信工具并始终处于人类控制之下”。这一观点对于正在加速推进AI应用落地的企业而言具有重要提醒意义。AI正在从助手变成“行动者”过去企业使用AI主要用于内容生成、知识查询和辅助分析。如今AI智能体开始接入知识库、数据库、邮件、客服、工单和运维系统并能够根据任务自主调用工具、执行流程。企业关注的重点不能再只停留在AI回答得是否准确还必须知道AI以什么身份访问系统获得了哪些数据和操作权限调用了哪些工具及外部服务执行过程能否记录和追溯AI最危险的可能不是“答错”而是“做错”。看似正常运行目标可能已经改变邬江兴院士指出人工智能系统具有复杂的不确定性传统依赖规则、外围防护和事后修补的方式难以覆盖不断变化的AI运行风险。例如在一种可能的攻击场景中一封包含恶意指令的邮件被智能体自动读取随后诱导智能体调用企业接口、查询敏感信息并将结果发送至外部。整个过程中智能体可能没有宕机也没有明显报错甚至仍在“正常完成任务”但最终可能造成数据泄露、错误指令执行、关键配置被修改乃至业务中断和合规处罚。一个看似正常运行的智能体执行目标可能已经被悄悄改变。因此AI安全不能只在出事后补救而要建立贯穿设计、部署和运行全过程的检测、反馈与持续优化机制。企业是否真正看得见自己的AI随着AI智能体进入业务流程企业需要管理越来越多的“智能体身份”。更现实的问题是一些业务部门和员工可能已经自行使用公共大模型、AI插件、第三方智能体、自动化工具或非官方接口而IT部门尚未形成完整的AI资产清单。企业可能并不完全清楚内部正在使用多少AI工具它们接入了哪些系统能够访问哪些敏感数据数据是否流向外部模型或第三方服务。如果这些问题没有明确答案AI智能体就可能成为一个身份不清、权限过大、行为不可见的新风险入口。目前企业至少要管住三件事管住AI连接什么、管住AI能够做什么、看见AI刚刚做了什么观点让AI运行在安全边界内当AI进入企业真实业务环境后还必须进一步管住它的网络连接、Agent权限、运行主机和执行过程。围绕企业AI智能体运行场景通过网络围栏、行为围栏和主机围栏分别管住AI连接什么、能够做什么以及运行在哪里。同时依托NSCOC运营中心开展7×24持续监测、专家研判和事件闭环帮助企业及时发现并处置AI运行过程中的异常风险。结语AI能力越强企业越不能只关注它能做什么还要关注它被允许做什么。安全治理不是限制AI创新而是企业敢于让AI访问更多数据、进入核心流程、承担更多任务的重要前提。当企业的AI已经能够读取数据、调用工具和执行任务我们至少应该能够回答三个问题它是谁它能做什么它刚刚做了什么只有这些问题始终有清晰答案AI才能真正成为企业可信、可控的生产力。