语音操控超分辨率超声成像多模态大语言模型驱动的AI医学影像新范式期刊npj Digital MedicineNature 子刊IF15.4中科院1区发表时间2026年6月21日作者Guo N, Deng Z, Tan Q, Sheng K, Wang X, Wang S, Hua CDOI: 10.1038/s41746-026-02924-8 | PMID: 42324351一、研究背景超分辨率超声成像Super-Resolution Ultrasound Imaging, SRUI是近年来超声医学领域的一项革命性技术它能够突破传统超声的衍射极限实现微血管结构和血流动力学的精细可视化在神经病学、肿瘤学和心脏病学等领域展现出巨大的应用前景 [1]。然而SRUI 的临床推广一直面临三大核心障碍复杂的参数优化流程、主观性强的图像解读以及耗时冗长的工作流程 [1]。与此同时多模态大语言模型Multimodal Large Language Models, MLLMs在医学领域的应用正在快速扩展。从 DeepSeek-R1 到 GPT-4V这些模型在自然语言理解、图像识别和临床推理方面的能力已经展现出辅助临床决策的潜力。然而将 MLLMs 与高精度医学成像设备进行深度融合实现从语音指令到结构化报告的端到端自动化工作流此前尚无先例。本研究由上海交通大学医学院附属上海市第六人民医院团队完成首次构建了一个将定制化 SRUI 平台与多模态大语言模型DeepSeek-R1 和 MiniCPM-V深度融合的 AI 框架实现了语音操控的超分辨率超声成像与自动报告生成 [1]。二、研究创新点本研究在以下四个方面实现了重要创新1. 语音驱动的影像采集范式首次将语音指令转化为超声成像采集参数临床医生可通过语音命令启动成像任务系统自动解析指令并设定包括时间窗和自适应微泡过滤在内的采集参数 [1]。2. 多模态 AI 协同架构创新性地将 DeepSeek-R1大语言模型与 MiniCPM-V视觉识别模型进行协同部署分别负责自然语言处理与超声图像识别实现了从听懂到看懂的完整智能链路 [1]。3. 自适应微泡相似度评分MSS提出 Microbubble Similarity Score 用于动态确定过滤阈值解决了传统 SRUI 中微泡信号过滤需要人工调参的痛点 [1]。4. 端到端自动化报告生成系统在完成超分辨率重建后自动提取定量血管指标并结合临床背景生成结构化诊断报告整个过程约 4 分钟 [1]。三、技术原理3.1 整体系统架构该系统的核心技术架构由三个主要模块组成语音交互层接收临床医生的语音指令通过 DeepSeek-R1 进行自然语言理解将口语化的指令转化为结构化的采集参数包括成像部位、时间窗设置、微泡剂量等 [1]。成像采集与重建层定制的 SRUI 平台根据转化后的参数执行超声采集利用微泡相似度评分MSS动态调整过滤阈值实现自适应的微泡信号分离和超分辨率重建 [1]。报告生成层MiniCPM-V 对重建后的超分辨率图像进行识别和特征提取量化血管密度、血流速度、微血管形态等指标DeepSeek-R1 综合这些定量指标与临床上下文生成结构化的诊断报告 [1]。3.2 微泡相似度评分MSS算法微泡相似度评分是本系统的核心技术创新之一。传统 SRUI 中微泡信号的过滤阈值需要操作者根据经验手动设定这在实际临床中既耗时又容易引入主观偏差。MSS 算法通过计算相邻帧之间微泡信号的空间相关性和强度分布相似度动态确定最优过滤阈值使整个 SRUI 流程实现全自动化 [1]。3.3 大语言模型选型研究团队选择了 DeepSeek-R1 作为大语言模型引擎这是国内自主研发的高性能推理模型擅长复杂指令理解和多步推理。在视觉任务方面选用 MiniCPM-V 作为图像识别模型该模型在医学图像理解任务中表现出色且具有较低的部署成本 [1]。四、实验结果研究团队通过 14 位临床医生的评估来验证系统性能主要结果如下报告生成效率系统从语音指令接收到结构化报告生成整个过程约 4 分钟相比传统 SRUI 工作流通常需要 30-60 分钟的手动参数调整、图像重建和手动撰写报告效率提升超过 7 倍 [1]。报告质量评估14 位临床医生对系统生成的报告进行了评估结果显示报告具有良好的结构完整性和标准化的术语使用。医生们对报告的临床可读性和诊断信息完整性给予了积极评价 [1]。自适应过滤性能MSS 算法能够根据不同的成像场景不同器官、不同微泡浓度动态调整过滤阈值无需人工干预即可获得稳定的超分辨率重建质量 [1]。临床注册试验该研究已在中国临床试验注册中心注册ChiCTR2100048361表明其研究设计达到了临床研究的规范性要求 [1]。五、技术优势1. 全流程自动化从语音指令到诊断报告实现了 SRUI 的端到端自动化显著降低了操作门槛 [1]。2. 多模态 AI 融合创新性地结合了 LLM语言理解和 VLM视觉理解实现了听见-理解-执行-分析-报告的完整闭环 [1]。3. 自适应参数优化MSS 算法消除了传统 SRUI 中需要人工调参的瓶颈使系统具备了即插即用的临床部署能力 [1]。4. 标准化报告输出结构化报告生成确保了不同操作者之间诊断结果的一致性有助于多中心临床研究和远程会诊 [1]。5. 国产化技术栈采用 DeepSeek-R1 和 MiniCPM-V 等国产模型在技术自主可控方面具有优势 [1]。六、应用前景本研究提出的语音操控超分辨率超声成像系统具有广泛的应用前景神经病学可用于脑血管疾病的微循环评估如脑缺血、脑肿瘤新生血管的监测 [1]。肿瘤学肿瘤微血管的定量评估对肿瘤良恶性鉴别、抗血管生成治疗效果评估具有重要价值 [1]。心脏病学心肌微循环的可视化有助于冠心病、心肌病的精准诊断 [1]。基层医疗自动化工作流显著降低了操作门槛有望将 SRUI 技术推广至基层医疗机构 [1]。远程医疗语音操控和自动化报告生成特别适合远程医疗场景专家可远程指导基层医生完成高质量超声检查 [1]。七、研究局限性与未来方向1. 样本量有限目前仅由 14 位临床医生参与评估未来需要更大规模的多中心临床验证 [1]。2. 应用场景局限当前系统主要针对 SRUI 场景优化其在常规超声检查中的普适性有待验证 [1]。3. 语音识别鲁棒性在嘈杂的临床环境中语音识别的准确性可能受到影响 [1]。4. 多中心泛化不同医疗机构的超声设备型号和成像协议存在差异系统的跨设备泛化能力需要进一步验证 [1]。5. 未来方向研究团队计划将系统扩展至更多超声成像模态并探索与电子病历系统的深度集成实现更全面的临床决策支持 [1]。八、结论本研究首次实现了语音操控的超分辨率超声成像与多模态大语言模型驱动的自动报告生成代表了 AI 医学影像从辅助诊断迈向智能化全流程的重要一步。该框架将 DeepSeek-R1 和 MiniCPM-V 与定制化 SRUI 平台深度融合展示了多模态 AI 在医学影像工作流自动化中的巨大潜力。虽然仍需更大规模临床验证但该研究为未来智能化、自动化、标准化的超声影像学提供了清晰的范式参考 [1]。参考文献1. Guo N, Deng Z, Tan Q, et al. Voice-controlled super-resolution ultrasound imaging and reporting powered by multimodal large language models.npj Digit Med. 2026. DOI: 10.1038/s41746-026-02924-8. PMID: 42324351.本文由「医疗AI科研服务」编译仅供学术交流原文链接https://www.nature.com/articles/s41746-026-02924-8