Safety and Security of Large Language Models in Healthcare论文重点这篇发表于Nature的综述论文系统梳理了大型语言模型LLM在医疗场景中部署所面临的安全与保障风险。研究团队将风险映射至临床AI系统的全生命周期——从设计、数据、模型、推理到运行环境并识别了从核心优化目标、知识完整性、对齐到人机交互与系统协同的多层次安全防护体系。论文的核心论断是医疗AI的安全不能作为一次性部署决策来对待而应视作持续的运营风险管理。核心研究内容问题定义LLM在医疗领域的应用正在快速推进——从临床文档记录、知识检索到辅助临床决策。然而这些工具的部署速度远远超过了官方安全保障措施的跟进步伐。医疗机构中甚至已出现大量未经机构指导或明确规则的非正式使用即“影子AI”使用。论文要回答的核心问题是LLM在医疗场景中究竟面临哪些安全与保障风险这些风险如何系统性地分类、评估与缓解创新方法论文的创新不在于提出单一算法或模型而在于构建了一个系统化的风险分类与防护框架。论文从三个维度对风险进行系统分类安全风险Security Risks来自外部恶意攻击包括训练数据投毒Data Poisoning、模型行为定向干预、以及提示注入Prompt Injection——即攻击者将隐藏指令嵌入用户提示中诱导模型输出错误甚至危险的医疗建议。模型固有安全风险Model-Inherent Safety Risks源自LLM自身的工作原理最主要的是“幻觉”Hallucinations——模型生成听起来合理但内容错误的信息。此外模型可能过度迎合使用者预期从而强化错误假设。人机交互风险Human-AI Interaction Risks临床医生与AI互动方式本身可能影响决策质量。模型的自信表达可能导致过度依赖自动化偏见或强化既有信念确认偏误。论文同时将风险映射到AI系统的五个开发生命周期阶段设计、数据、模型、推理和运行环境。研究成果作为一篇综述论文其核心成果是一个完整的风险图谱与缓解策略框架风险系统化分类将分散在文献中的各类LLM医疗风险整合为三类安全风险、模型固有风险、人机交互风险并按其当前临床相关性进行分级。全生命周期视角强调风险并非仅在模型部署时出现而是在AI系统的整个生命周期中持续存在——从设计、训练数据准备、模型实现到临床应用。多层次防护体系识别了从核心优化目标、知识完整性、模型对齐到人机交互与系统协同的防护层级。缓解策略建议提出了安全开发流程、训练数据精管、系统化评估、持续监控以及医疗机构内部明确的责任划分。同时建议建立集中化的AI安全运营中心Security Operations Center以跨机构检测与协调响应安全事件。多学科整合论文整合了医学AI、网络安全、监管科学、伦理学和行为心理学的证据。实际落地应用的可行性论文的框架具有高度的实践可操作性。其风险分类和生命周期映射为医疗机构提供了明确的“检查清单”——在AI系统引入的每个阶段应该关注什么风险、采取什么措施。论文强调安全不仅是技术问题更需要研究、临床实践和监管的协同努力。此外论文指出许多LLM系统并非本地托管这引发了数据控制权和隐私的关键问题。对于医院管理者而言这意味着需要从供应链和工作流的角度来审视AI部署。技术细节风险分类框架的技术内涵1. 提示注入Prompt Injection这是一种针对LLM的特定攻击方式。攻击者在用户输入中嵌入隐藏的恶意指令绕过模型的安全对齐机制诱导模型执行非预期行为。在医疗场景中这可能导致模型错误地忽略影像中的肿瘤或其他关键病理特征。已有研究证明隐藏指令可以影响处理医学图像的视觉-语言系统。2. 数据投毒Data Poisoning攻击者在模型训练阶段向训练数据中注入恶意样本使模型在特定条件下产生错误输出。在医疗AI中这可能导致模型在特定人口群体或特定病症上系统性失误。3. 模型固有风险的技术根源LLM的“幻觉”源于其统计语言建模的本质——模型生成的是基于训练数据分布的最可能词序列而非经过验证的医学事实。在临床语境中这种统计“最优”可能与医学“正确”存在根本性偏差。4. 自动化偏见Automation Bias与确认偏误Confirmation Bias论文从行为心理学角度揭示了人机交互中的系统性风险。临床医生可能过度依赖AI生成的自信表述自动化偏见或倾向于接受与已有诊断假设一致的AI输出确认偏误。生命周期映射论文将安全威胁系统地映射到临床AI系统的开发阶段阶段典型风险设计Design优化目标与临床安全目标不一致数据Data数据投毒、隐私泄露、代表性不足模型Model幻觉、对齐失败、鲁棒性不足推理Inference提示注入、对抗性攻击环境EnvironmentIT基础设施漏洞、数据外泄防护层级论文识别了从内到外的多层防护核心优化目标确保模型训练的目标函数与临床安全目标一致知识完整性确保模型输出的医学知识准确可靠对齐Alignment模型行为与人类价值观和临床规范对齐人机交互设计有效的交互界面以减少认知偏误系统协同AI系统与医院现有工作流的整合安全研究设定研究类型这是一篇系统性的综述论文Review Article而非原始实验研究。研究团队整合了来自医学AI、网络安全、监管科学、伦理学和行为心理学等多个领域的既有研究成果。研究团队论文由德累斯顿工业大学Else Kröner Fresenius数字健康中心的研究人员主导联合德国国内外多家机构的合作者共同完成。第一作者为Jan Clusmann博士通讯作者为Jakob N. Kather教授。研究范围论文覆盖了LLM在医疗领域应用的全谱系风险——从技术层面的模型漏洞到组织层面的人机交互从恶意攻击到无意的系统失效。论文还特别关注了结构性挑战许多系统并非本地托管、非正式的“影子AI”使用已在临床中发生。硬件与软件环境作为综述论文论文本身不涉及具体实验配置。但其分析框架适用于各类医疗AI部署环境包括本地部署 vs. 云端/外部托管的LLM服务电子病历系统集成的AI辅助工具面向临床决策支持的专用医学LLM通用LLM如ChatGPT、Claude的非正式医疗使用综合分析论文的学术贡献这篇论文的核心贡献在于系统化。此前关于LLM医疗安全的研究分散在多个学科领域缺乏统一的框架来理解和分类风险。论文首次将安全风险、模型固有风险和人机交互风险整合到一个统一的分析框架中并将这些风险映射到AI系统的全生命周期。这种系统化的视角使得风险识别不再是零散的经验观察而是有结构的、可操作的评估流程。从“模型问题”到“系统问题”的范式转变论文最深刻的洞见在于医疗AI的安全不是模型本身的性能问题而是一个系统性问题。风险不仅来自模型“不够好”——它可能来自被污染的训练数据、被恶意注入的提示、不完善的基础设施、过度信任的医生、缺乏监管的组织流程以及不断演变的临床工作流。这意味着安全是持续的过程而非一次性事件模型通过评估或获得批准并不意味着安全工作的结束。模型会更新、工作流会变化、用户行为会演变——安全监控必须持续进行。传统监管框架面临挑战传统医疗器械监管框架针对的是相对静态的产品而现代AI软件会通过新模型、更新、集成和数据变化不断演化。责任分布需要明确论文强调需要明确医疗机构内部对AI系统的责任划分。对医疗AI发展的启示这篇论文对医疗AI领域提出了几个关键警示“影子AI”使用是现实威胁临床人员已经在使用通用AI工具如ChatGPT处理医疗任务而医院对此缺乏监管。这种非正式使用的风险可能比正式部署更大。人因风险不容忽视技术解决方案无法解决自动化偏见和确认偏误——这需要通过培训、界面设计和工作流重构来综合应对。安全需要跨学科协作论文明确表示安全“不仅是技术问题”需要研究、临床实践和监管的协调努力。AI工程师、临床医生、医院管理者、监管者和伦理学家需要共同参与。实践应用对医疗机构的建议建立AI治理框架医疗机构应建立专门的AI监督团队负责LLM的引入、评估和持续监控。不应允许临床人员在没有机构指导的情况下使用通用AI工具处理患者数据。进行全生命周期风险评估在引入任何LLM工具时应按照论文提出的五阶段框架设计、数据、模型、推理、环境进行系统性风险评估。投资安全运营能力考虑建立或参与集中化的AI安全运营中心以检测和响应安全事件。关注数据主权对非本地托管的LLM服务需明确数据流向和控制权。培训与流程设计对临床人员进行AI交互培训减少自动化偏见和确认偏误的风险。设计交互界面时应考虑如何让AI的输出既能提供价值又不过度影响临床判断。对AI开发者的建议将安全纳入设计阶段安全不应是事后补丁而应在模型设计之初就作为核心优化目标的一部分。实施红队测试对医疗LLM进行对抗性测试包括提示注入攻击的防御测试。建立持续监控机制部署后的模型需要持续监控其输出质量、安全性和公平性。透明报告向医疗机构清晰说明模型的能力边界、已知局限和已知风险。对监管者的建议论文暗示传统医疗器械监管框架需要更新以应对AI的持续演化特性。监管者应考虑建立适应AI系统持续更新特性的监管路径同时确保安全评估覆盖全生命周期而非仅限上市前审批。参考资料原始论文: Clusmann J, Freyer O, Ostermann M, et al. Safety and security of large language models in healthcare.Nature, 2026, 656(8128): 577-589.DOI: 10.1038/s41586-026-10687-1论文链接: https://www.nature.com/articles/s41586-026-10687-1