Trust, Risk, and Security in Agentic AI: A Short Survey论文重点本文系统梳理了基于大语言模型LLM的多智能体系统在信任、风险与安全管理TRiSM方面的独特挑战提出了首个专门面向Agentic AI的TRiSM框架。该框架围绕可解释性、模型运维、应用安全、模型隐私与全生命周期治理五大支柱展开并引入了组件协同评分CSS和工具利用效能TUE两项新指标为高 stakes 场景下Agentic AI的安全、透明与可问责部署提供了系统性指导。核心研究内容问题定义Agentic AI系统——即由LLM驱动、以多智能体配置部署的系统——正在重新定义智能、自主性、协作与决策的边界。据预测到2025年中期超过70%的企业AI部署将涉及多智能体或基于行动的系统。然而这些系统的核心问题在于多个具备工具使用能力和持久记忆的LLM智能体在追求复杂目标时会产生传统AI安全框架无法覆盖的新型风险。具体而言信任缺失LLM推理的随机性导致输出不一致且难以重复阻碍了可追溯性、验证性和合规审计。在高 stakes 场景如医疗误诊、法律偏见裁决中用户对系统的依赖与系统本身的可信度之间存在根本性张力。安全威胁升级智能体获得工具、外部API和持久记忆的访问权限后隐私泄露、对抗性滥用和监管违规的风险被急剧放大。传统安全措施难以应对分布式、协作式多智能体系统中的独特漏洞。治理框架缺失现有评估和安全框架是为确定性智能体或传统AI系统设计的无法有效应对Agentic AI的 emergent 行为、智能体间依赖关系和动态特性。论文的核心问题是如何为LLM驱动的多智能体系统建立一个统一的信任、风险与安全管理框架创新方法本文的创新体现在三个层面第一首次提出面向Agentic AI的TRiSM框架。传统AI TRiSM框架包含可解释性、模型运维、应用安全和隐私四大支柱但本文将其扩展并情境化到多智能体LLM系统的特殊挑战中形成了五个关键支柱可解释性Explainability追踪跨智能体的决策链路模型运维ModelOps持续监控与模型生命周期管理应用安全Application Security防范提示注入、智能体共谋等新型攻击模型隐私Model Privacy保护智能体间共享的敏感数据全生命周期治理Lifecycle Governance确保合规与可问责。第二构建了系统性的风险分类法。论文识别并分类了多智能体交互中涌现的独特威胁提示注入与提示感染攻击者通过隐藏的恶意指令操控智能体行为且恶意提示可在智能体间传播类似计算机病毒在网络中扩散。欺骗与冒充智能体依赖凭证或令牌进行认证协调攻击者可窃取API密钥或冒充可信对等体发布未授权命令。记忆中毒通过污染共享记忆存储导致智能体产生错误输出。智能体共谋与 emergent 不当行为多个智能体在协作中可能产生非预期的协调失败或恶意合作。第三引入两项新型评估指标组件协同评分Component Synergy Score, CSS量化智能体间协作质量衡量多智能体系统在任务分解、上下文共享和角色协同方面的表现。工具利用效能Tool Utilization Efficacy, TUE评估智能体在工作流中调用外部工具的正确性和效率。此外论文还提出了一个五维度评估框架涵盖可信度、可解释性、以用户为中心的绩效、协调性和复合评估。研究成果作为一篇综述性论文其核心成果是系统性的知识整合与框架构建文献覆盖从2022年1月至2025年5月的文献中筛选出250篇候选论文经全文审查后纳入180篇主要研究。检索覆盖了IEEE Xplore、ACM Digital Library、SpringerLink、arXiv、ScienceDirect和Google Scholar等主要数字图书馆。框架完整性提出的TRiSM框架是首个明确针对LLM驱动的多智能体协作系统的框架。与现有技术综述主要关注系统架构、智能体能力和领域应用以及可信AI综述主要面向通用ML系统相比本文首次将治理、安全、可解释性和隐私作为多智能体系统的基础设计优先事项。实用指南论文为研究人员、工程师和政策制定者提供了可操作的指导填补了技术多智能体文献与更广泛负责任AI landscape 之间的关键空白。实际落地应用的可能性论文的应用价值体现在以下几个层面高 stakes 行业部署医疗、金融、法律、国防等领域中Agentic AI的决策具有深远的社会影响。TRiSM框架为这些场景提供了安全部署的治理蓝图。企业AI治理随着ISO/IEC 42001:2023和NIST AI风险管理框架等标准被企业采纳TRiSM框架可作为企业级Agentic AI治理的实操参考。监管合规欧盟《人工智能法案》已于2024年8月生效TRiSM框架中的治理支柱直接回应了合规需求涵盖HIPAA医疗和GDPR金融等监管要求。评估工具化CSS和TUE两项指标可直接集成到Agentic AI系统的CI/CD管道中实现持续的质量监控。技术细节TRiSM框架的核心技术组件论文详细review了各支柱的实现技术可解释性技术LIMELocal Interpretable Model-Agnostic Explanations对单个智能体决策进行局部解释SHAPSHapley Additive exPlanations量化各输入特征对输出的贡献决策溯源Decision Provenance追踪跨智能体链路的完整决策路径。安全增强技术提示卫生Prompt Hygiene对输入提示进行清洗和验证防范注入攻击沙箱化Sandboxing限制智能体对外部系统的访问权限加密与对抗鲁棒性保护智能体间通信和数据存储。隐私保护技术差分隐私、联邦学习等隐私保护技术在多智能体数据共享场景中的应用。评估指标定义组件协同评分CSS的评估维度包括任务分解的合理性智能体间上下文共享的完整性角色协同的有效性整体协作的质量工具利用效能TUE的评估维度包括工具调用的正确性工具使用的效率工具选择的最优性Agentic AI与传统AI智能体的架构差异论文通过多维度对比清晰地界定了Agentic AI的技术特征维度传统AI智能体Agentic AI系统自主性模型反应式或慎思式如认知架构目标驱动的规划与自适应认知基础符号逻辑、有限状态机或认知模型基础模型LLM/LIM智能范围狭窄且任务特定广泛且组合式推理方式确定性或多步符号推理多步且上下文感知如CoT协作能力孤立或有限协调角色专业化协调时间上下文片段式、常为无状态持久记忆向量数据库/LTM编排方式硬编码或固定工作流动态元智能体工具利用静态或领域特定工具规划式API调用Agentic AI通过三项核心创新重新定义了自主性(1) 多智能体协调——规划者、验证者等专业化智能体通过结构化协议协作(2) 持久上下文——记忆架构在工作流中维护任务状态(3) 动态元编排——系统动态委派任务并解决冲突。典型系统如AutoGen使LLM支持的智能体能够通过多步推理分解复杂任务如软件开发。研究设定研究设计本文是一项概念性综述与综合研究而非提出新架构或合成基准评估。研究遵循结构化方法论借鉴系统综述的最佳实践四个研究问题RQsRQ1LLM驱动的Agentic AI系统面临哪些关键的信任、风险与安全挑战RQ2已有哪些技术和治理策略应对这些挑战RQ3现有方法如何映射到TRiSM各支柱RQ4当前研究的空白和未来方向是什么检索策略布尔检索查询涵盖多组关键词Agentic AI相关“Agentic AI” OR “multi-agent systems” OR “MAS” OR “multi-agent LLMs” OR “AI agents”...TRiSM相关“trust” OR “trustworthiness” OR “risk” OR “security” OR “safety” OR “governance”...纳入标准2022-2025年间发表、明确讨论Agentic AI或多智能体系统且涉及至少一个TRiSM维度的研究。质量保证四位评审员独立对每篇论文进行四项标准的质量评估分歧通过讨论解决。硬件与软件配置作为综述论文本文不涉及具体的实验硬件配置。但从框架的应用角度部署TRiSM框架的Agentic AI系统通常需要LLM推理基础设施支持多智能体并发调用的GPU集群或云端推理服务记忆存储系统向量数据库如Pinecone、Weaviate用于持久上下文管理工具集成层API网关和函数调用框架监控与可观测性平台用于追踪智能体决策链路和检测异常行为合规审计系统记录和验证智能体操作以满足监管要求。综合分析专业见解第一本文抓住了Agentic AI治理的核心矛盾。Agentic AI的独特之处在于其“ emergent ”特性——系统的行为能力并非完全由设计者预先指定而是在多智能体交互中涌现。这种 emergent 行为既是Agentic AI强大能力的来源也是其风险的根本所在。传统的“设计-测试-部署”安全范式在此失效因为无法穷举所有可能的 emergent 行为模式。本文提出的TRiSM框架本质上是在呼吁一种从“事前预防”到“全生命周期治理”的范式转变。第二信任问题的本质是认知不对称。论文区分了“信任”用户的依赖意愿和“可信度”系统值得信任的程度。在Agentic AI语境下这种差距被进一步放大——用户不仅不理解模型如何推理更无法追踪多个智能体之间复杂的协作链路。可解释性不再只是“让模型可理解”而是“让整个智能体社会的行为可追溯”。这解释了为何本文将可解释性列为TRiSM的首要支柱。第三安全威胁从“点”扩展到“面”。传统LLM安全主要关注单模型的提示注入和越狱攻击。而在多智能体系统中一个被攻陷的智能体可以像“特洛伊木马”一样通过智能体间通信感染整个系统。这种“智能体间攻击面”是全新的安全挑战需要从单个智能体的安全防御升级到整个智能体生态系统的安全架构。第四评估指标的设计体现了系统性思维。CSS和TUE的提出表明评估Agentic AI不能仅看单个智能体的表现而必须考察系统层面的协作质量和工具使用效率。这呼应了Agentic AI“整体大于部分之和”的本质特征。研究局限与未来方向论文坦诚地指出了自身作为综述的局限性同时也映射出整个领域的不足技术成熟度不足许多TRiSM技术如跨智能体决策溯源、分布式隐私保护仍处于早期研究阶段。缺乏统一基准CSS和TUE虽被提出但尚未形成行业公认的评估标准。治理框架的实操性从框架到具体实施工具之间仍存在较大鸿沟。实践应用对研究者的建议将TRiSM纳入系统设计早期可解释性、安全性和隐私不应该是事后补丁而应在Agentic AI系统架构设计阶段就被纳入考量。采用CSS和TUE进行系统评估在发表Agentic AI研究成果时使用CSS和TUE报告系统的协作质量和工具使用效率以增强结果的可比性。关注多智能体特有的威胁模型在研究安全问题时不要局限于单智能体的提示注入应系统性地考察智能体间攻击面。对工程师的建议实施提示卫生和输入验证在智能体接收外部输入前进行清洗和验证防范提示注入攻击。建立智能体间通信的认证机制防止欺骗和冒充攻击确保每个智能体的身份可验证。部署持续监控和审计系统记录智能体的决策链路和工具调用为合规审计和故障排查提供支持。采用沙箱化部署限制每个智能体对外部系统的访问权限将潜在损害控制在最小范围。对决策者的建议将TRiSM纳入企业AI治理框架参考ISO/IEC 42001:2023和NIST AI RMF 1.0结合本文的TRiSM框架制定企业级Agentic AI治理政策。优先在高 stakes 场景中应用TRiSM医疗、金融、法律等领域的Agentic AI部署应率先采用完整的TRiSM框架。投资于可解释性基础设施由于跨智能体决策溯源的技术难度较高应尽早投入研发资源。关注监管动态欧盟AI法案已生效Agentic AI的部署需确保符合不断演进的监管要求。参考资料来源原始论文NeurIPS 2025: Trust, Risk, and Security in Agentic AI: A Short Survey预印本arXiv: TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems作者: Shaina Raza, Ranjan Sapkota, Manoj Karkee, Christos Emmanouilidis所属机构: Vector Institute加拿大多伦多、Cornell University美国、University of Groningen荷兰