引言医学影像检索正在成为临床诊断、科研队列筛选和教学病例复用中的关键能力。医生往往不只是想找“相似影像”而是希望按照某个解剖结构或病理细节检索相似病例例如“主动脉形态相似”“胸膜表现相似”或“肺部结节相似”。这类需求天然具有多粒度特征但传统检索模型通常依赖全图级标签或少量人工标注难以稳定覆盖细粒度解剖区域。近期来自中国科学技术大学、上海交通大学和上海人工智能实验室的团队提出了RadIR 框架。该研究利用放射学报告自动挖掘图像间的多粒度相似性构建了面向胸部 X 光和胸部 CT 的检索基准并开发出支持自然语言解剖结构提示的医学图像检索系统。实验结果显示RadIR 在 78 项评估指标中有 77 项达到最优为细粒度医学影像检索提供了一条可扩展路径。基本信息图片【1】RadIR 论文首页、标题与作者单位信息文章标题RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining会议MICCAI 2025early accept研究方向基于放射学报告挖掘的多粒度医学图像检索发表时间2025 年研究单位中国科学技术大学、上海交通大学、上海人工智能实验室数据集MIMIC-IR胸部 X 光、CTRATE-IR胸部 CT代码地址https://github.com/MAGIC-AI4Med/RadIR论文地址https://www.arxiv.org/abs/2503.04653核心模型Vision Transformer 图像编码器、BERT 文本编码器、报告挖掘模块、条件化检索融合模块训练策略两阶段训练范式结合 Masked InfoNCE Loss 与 Triplet Loss 优化图像-报告对齐和图像相似性排序创新点总结全自动多粒度相似性建模基于放射学报告结构化解析自动提取解剖区域描述并量化语义相似度减少对人工标注的依赖。大规模医学图像检索基准构建创建 MIMIC-IR 与 CTRATE-IR覆盖胸部 X 光和胸部 CT 两类场景并支持多解剖结构的细粒度评估。解剖结构条件化检索通过可学习融合模块将自然语言提示与视觉特征结合实现“按指定解剖结构找相似病例”。跨模态检索性能突破在图像-图像检索、图像-报告检索和条件化图像检索任务中全面超过多种 CLIP 系列医学模型。研究背景与意义随着医学影像数据规模快速增长临床诊疗和科研分析都需要高效的病例检索工具。然而“相似影像”的定义在医学场景中并不固定同一张胸片可以在心脏形态上相似也可以在胸膜表现、肺野纹理或主动脉形态上相似。换言之医学图像相似性不是单一全局概念而是随临床关注点变化的多粒度关系。现有方法通常存在三类限制标注成本高细粒度解剖区域相似性需要大量专业医生标注难以扩展到大规模影像库。相似性定义粗糙许多模型只学习全图级图文匹配无法区分不同解剖结构上的局部差异。检索交互不灵活临床用户很难通过自然语言指定关注区域例如“只看主动脉”或“重点比较胸膜”。RadIR 的关键思路是放射学报告本身已经包含了医生对多个解剖结构和异常表现的结构化描述。如果能够从报告中自动拆解出不同区域的描述并计算这些描述之间的语义相似性就可以把报告转化为大规模、多粒度的图像相似性监督信号。因此RadIR 不只是提出一个检索模型更重要的是提出了一套可扩展的数据构建和训练范式。它让医学图像检索从“人工标注少量相似对”转向“自动挖掘报告中的多粒度监督”对临床病例检索、相似病例辅助诊断、医学教育和科研队列发现都有潜在价值。研究内容与方法本研究围绕 RadIR 框架展开核心目标是通过放射学报告挖掘自动构建多粒度图像相似性关系并训练一个可支持全局检索、跨模态检索和解剖结构条件检索的医学影像检索系统。数据集构建流程图片【2】RadIR 基于放射学报告的解剖区域拆解与相关性量化流程研究使用两个权威医学影像数据源构建检索基准MIMIC-CXR包含 377,110 份胸部 X 光影像-报告配对数据。CT-RATE包含 25,692 份非增强胸部 CT 影像-报告配对数据。为了从报告中获得细粒度监督研究团队设计了三个自动化步骤解剖术语集构建基于 RadGraph-XL 从放射学报告中提取高频解剖结构最终确定 90 个临床常用解剖术语并建立同义词表和层次化结构。例如肺部可以继续细分为左肺、右肺、肺叶等子区域。区域描述提取将报告的 Findings 部分按句子切分再将每个句子与解剖术语集匹配建立“局部文本描述-解剖结构”的对应关系。例如报告中关于主动脉的句子会被归入主动脉区域描述。层次结构整合利用解剖层次关系将子结构描述聚合到父结构形成多层级区域描述。这一步让模型既能学习局部结构也能兼顾更高层级的整体区域。在完成结构化解析后研究使用 RaTEScore 计算不同报告片段之间的语义相似度并将其转化为图像间的相关性排序。最终研究提取了 2,582,477 条基于解剖区域的细粒度描述覆盖 90 个解剖结构量化了超过 1,320 亿个细粒度图像间相关性关系。RadIR 模型架构图片【3】RadIR 两阶段训练框架与解剖结构条件化检索模块RadIR 采用两阶段训练范式。第一阶段多模态预训练第一阶段基于 CLIP 思路构建图像-文本联合表示空间。模型使用 Vision Transformer 作为图像编码器使用 BERT 作为文本编码器分别编码医学图像和放射学报告。与普通 CLIP 不同RadIR 的预训练目标不仅关注图像与报告是否匹配还进一步利用报告挖掘得到的图像相似性排序让模型学习“哪张图像更相似”。因此模型同时使用两类监督信号图像-文本相似度监督对齐影像与对应报告。图像-图像相似度监督根据报告挖掘得到的相似性排序学习细粒度图像关系。图片【4】Masked InfoNCE 相关训练目标公式图片【5】RadIR 预训练阶段整体损失函数该阶段结合 Masked InfoNCE Loss 和 Triplet Loss 进行优化。其中Masked InfoNCE 用于处理报告相似性带来的多正样本关系Triplet Loss 用于约束相似图像和不相似图像之间的排序差异。第二阶段条件化图像检索第二阶段面向“按解剖结构检索”的临床需求进行扩展。用户可以输入自然语言提示例如 Aorta、Pleura、Lung 或 Heart模型需要根据该提示动态聚焦到对应的视觉区域。为此RadIR 引入融合模块将文本提示与视觉特征进行注意力融合生成条件化图像表示。随后模型计算条件化图像间相似度并使用 Triplet Loss 继续优化。这一设计使 RadIR 不再只返回全图相似结果而是能够按指定解剖结构返回更符合临床意图的相似病例。实验评估方法研究在 MIMIC-IR 和 CTRATE-IR 两个数据集上进行系统评估任务覆盖三个层面无约束图像-图像检索输入一张图像检索整体相似的影像。图像-报告跨模态检索包括图像到文本和文本到图像检索。解剖结构条件化检索输入图像和解剖结构提示检索指定区域相似的病例。对比方法包括 MedCLIP、BiomedCLIP、PMC-CLIP、CT-CLIP 等医学多模态模型。评估指标包括 RecallK、mAP、NDCG 等检索指标用于衡量模型能否把最相关样本排在靠前位置。实验结果分析多粒度检索综合表现RadIR 在图像-图像检索和图像-报告跨模态检索中整体领先。相比传统 CLIP 系列医学模型RadIR 的优势来自两个方面一是它不只学习图文配对关系还学习图像之间的相似性排序二是它把放射学报告拆解到解剖区域级别从而获得更细的监督信号。在 78 项评估指标中RadIR 有 77 项达到最优说明其提升并不是局限在单一数据集或单一任务上而是对全局检索、局部检索和跨模态检索都有稳定增益。条件检索在解剖结构上的性能优势在 MIMIC-IR 数据集上RadIR 在胸膜、骨骼、肺、膈肌、血管、胸廓、心脏、气道、胃和支气管等解剖结构上均取得明显优势。表格中RadIR 在 Recall3、Recall5 和 Recall10 的平均结果均高于 PMC-CLIP、BiomedCLIP 和 MedCLIP。图片【6】RadIR 在 MIMIC-IR 胸部 X 光数据集上的解剖结构条件检索结果这种提升说明RadIR 不只是依赖整体图像风格进行匹配而是能够根据解剖提示提取更有针对性的局部表示。例如当查询目标是 Pleura 时模型会更关注胸膜相关表现当查询目标是 Heart 时模型会更关注心影形态和相关异常。图片【7】RadIR 在 CTRATE-IR 胸部 CT 数据集上的解剖结构条件检索结果在 CTRATE-IR 数据集上RadIR 相比 CT-CLIP 同样取得稳定提升。无论是样本量较多的 Bone、Heart、Bronchie、Trachea、Pleura还是样本量较少的 Gallbladder、Clavicle、Ascending aorta、Pulmonary artery、Breast、Pancreas、StomachRadIR 的 Recall3、Recall5 和 Recall10 大多显著更高。这说明条件化检索机制对长尾解剖区域尤其有价值。传统模型容易被高频区域和全局图像特征主导而 RadIR 通过文本提示动态选择关注区域在低频结构上也能保持更强的检索能力。解剖条件检索的可视化案例验证论文中的可视化案例进一步展示了 RadIR 和基线模型在局部病理匹配上的差异。例如在“男性双侧乳房发育症”相关案例中RadIR 基于 Breast 提示能够检索到更符合相同病理特征的病例而 CT-CLIP 更容易受到整体图像分布或性别相关偏差影响。类似地在肺部结节检索中RadIR 不只是匹配整体影像风格还能够关注结节大小、位置和局部形态等细节。对于临床使用而言这类能力比单纯全图相似更重要因为医生往往需要查找的是某个区域、某类异常或某个鉴别诊断线索。两阶段训练对检索性能的影响消融实验显示两阶段训练是 RadIR 性能提升的重要来源。预训练阶段贡献Masked InfoNCE 与 Triplet Loss 的联合优化让模型同时学习图文对齐和图像相似性排序比单一对比学习更适合医学检索。条件检索模块贡献引入解剖结构提示后模型能够动态聚焦目标区域在局部检索任务中获得更高 Recall。长尾区域收益明显对于样本量较少的解剖结构条件化表示能减少全局特征干扰提高检索稳定性。整体来看RadIR 的提升并不是来自更大的模型规模而是来自更贴合医学检索任务的数据构建方式和训练目标设计。优势与局限优势多粒度相似性建模能力强RadIR 通过解析放射学报告中的解剖结构描述将医学图像相似性从全局层面扩展到局部区域层面更符合临床真实检索需求。数据构建可扩展研究利用放射学报告自动生成图像相似性排序显著降低人工标注成本使大规模细粒度医学影像检索基准成为可能。检索性能全面领先RadIR 在图像-图像检索、图像-报告检索和解剖结构条件化检索中均取得优势在 78 项评估指标中有 77 项达到最优。临床交互方式更自然支持使用自然语言解剖结构提示进行检索便于医生按具体临床问题查找相似病例而不是只能依赖全图相似度。局限依赖报告质量RadIR 的相似性监督来自放射学报告。如果报告描述不完整、用词不一致或遗漏关键异常可能影响相似性量化质量。解剖术语覆盖仍有限当前系统覆盖 90 个高频解剖结构对罕见结构、复杂组合病变或跨系统疾病表现的检索能力仍需进一步验证。计算与存储开销较大构建超过 1,320 亿个细粒度图像相关性关系对数据处理、存储和模型训练资源都有较高要求。跨机构泛化仍需验证目前评估主要基于 MIMIC-CXR 和 CT-RATE模型在不同医院、不同设备、不同报告风格下的泛化能力还需要更多外部验证。总结RadIR 的核心贡献在于它把放射学报告从“图像配套文本”进一步转化为“多粒度相似性监督”。通过自动解析报告中的解剖结构描述RadIR 构建了大规模细粒度检索基准并训练出能够支持全局检索、跨模态检索和解剖结构条件检索的医学影像检索系统。对于医学影像 AI 来说这项工作提供了一个重要启发临床报告中蕴含的大量结构化和半结构化知识可以被系统性挖掘为模型监督信号。未来如果 RadIR 能在更多模态、更多器官和更多临床场景中验证其思路有望推动医学影像检索从“相似图片搜索”走向真正面向临床问题的智能病例检索。参考文献RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining。本文核心论文提出基于放射学报告挖掘的多粒度医学图像检索框架并构建 MIMIC-IR 与 CTRATE-IR 两个检索基准。RadGraph-XL: A Large-Scale Entity and Relation Extraction Dataset for Radiology Reports。该研究提供大规模放射学报告实体与关系抽取资源是 RadIR 构建解剖术语集和解析区域描述的重要基础。RaTEScore: A Reference-Free Metric for Evaluating the Quality of Radiology Reports。该方法用于计算放射学报告语义相似性RadIR 借助其量化解剖区域描述之间的相关性。Learning Transferable Visual Models From Natural Language Supervision。CLIP 的基础论文RadIR 在图像编码器和文本编码器设计上借鉴了图文对比学习框架。MIMIC-CXR: A Large Publicly Available Database of Labeled Chest Radiographs。MIMIC-CXR 是 RadIR 构建 MIMIC-IR 胸部 X 光检索基准的数据基础。