2026.7.7本文提出AdaMM用知识蒸馏、图引导适配和病灶存在先验提升MRI缺失模态下的脑肿瘤分割鲁棒性。Title题目01不让任何模态掉队通过知识蒸馏适应缺失模态的脑肿瘤分割No modality left behind: Adapting to missing modalities via knowledge distillation for brain tumor segmentation文献速递介绍02论文首先指出脑肿瘤精确分割是术前评估、个体化治疗和长期预后预测的重要基础。多模态MRI中的T1、T2、T1Gd和FLAIR分别强调不同解剖和病理信息例如T1Gd对增强肿瘤区域更敏感FLAIR对异常信号和水肿更有帮助因此多模态联合通常能提供更可靠的肿瘤定位和亚区分割。然而临床实践中并不总能获得完整序列患者状态、扫描协议、造影剂使用限制或设备差异都可能导致模态缺失。已有通用模型往往偏向信息量强的主导模态当只剩T1、T2等弱模态组合时性能会严重退化。为解决这一问题作者提出AdaMM由BBDM、GARM和LGRM组成目标是在不显式合成缺失图像的情况下让学生模型从完整模态教师模型中学习结构与纹理知识同时针对不同模态组合学习补偿策略并利用病灶存在先验减少假阳性。引言还将缺失模态方法概括为生成补全、特征补全、样本检索、鲁棒增强、多任务学习和知识蒸馏六类并强调本文不仅提出新模型也进行了大规模横向比较为后续方法选择提供参考。相关工作相关工作将缺失模态学习分为两大路线。第一类是Imputation-based方法即尝试补全缺失信息包括数据生成、特征生成和样本检索。数据生成方法使用GAN、VAE或超网络合成缺失MRI序列优点是能恢复完整输入形式但训练复杂、开销较大且合成图像的临床真实性和解剖一致性难以保证。特征生成方法不直接合成图像而是在特征空间推断缺失模态表征能减少图像级伪影但在高维噪声和分布迁移下仍不稳定。样本检索方法依赖外部数据库或批内相似样本来补充信息但对数据库规模和检索质量要求高且不适合复杂多变的脑肿瘤形态。第二类是Imputation-free方法即不补全输入而是直接用不完整模态推理包括鲁棒增强、多任务学习和知识蒸馏。鲁棒增强通过随机模态丢弃和融合机制提高容错性但在极端缺失时仍可能遇到瓶颈多任务学习通过重建或辅助任务学习共享表征但任务权重和任务冲突会影响主任务知识蒸馏利用完整模态教师网络指导缺失模态学生网络是本文认为更有潜力的方向但现有蒸馏方法仍需更精细地建模跨模态结构关系和模态差异特征。Aastract摘要03多模态MRI能提供互补的脑肿瘤信息但临床中常因扫描条件、成本或流程限制出现模态缺失使依赖完整T1、T1Gd、T2、FLAIR输入的分割模型性能明显下降。本文提出AdaMM一个面向缺失模态场景的多模态3D UNet框架以完整模态教师网络指导缺失模态学生网络并在推理时仅保留轻量学生分支。方法由三个核心模块组成BBDM通过全局风格匹配与对抗特征对齐传递结构和纹理知识GARM通过模态组合适配器和图神经网络建模通用特征与组合特异特征的语义关系LGRM通过病灶存在概率抑制假阳性。作者在BraTS 2024、BraTS 2018和Pretreat-MetsToBrain-Masks三个数据集上系统评估15种模态组合和六大类缺失模态策略结果显示AdaMM在Dice、HD95、IoU和Sensitivity上总体优于现有方法尤其在单模态和弱模态组合下优势明显。Method方法04AdaMM是一个基于知识蒸馏的多模态3D UNet分割框架。训练阶段包含完整模态教师分支和缺失模态学生分支教师使用完整MRI输入获得高质量表征学生在随机采样的15种非空模态组合下学习分割。推理阶段只保留学生分支因此教师网络、GSME、判别器和蒸馏损失都不会增加推理成本。整体损失由体素级预测MSE蒸馏、BBDM蒸馏损失和LGRM病灶可靠性损失组成。BBDM在GARM前后对瓶颈特征进行双重蒸馏其中GSME通过编码器和解码器特征的关系矩阵进行全局风格匹配教师–学生判别器通过对抗学习进一步对齐增强后的瓶颈特征从而把完整模态路径中的结构层次和纹理细节传递给缺失模态学生。GARM是学生分支的关键结构适配模块包含Adapter Bank、图节点对齐、跨图增强、图精炼与特征重投影。Adapter Bank为最多15种模态组合提供轻量3D残差适配器使模型能学习组合特异补偿随后GARM将组合感知特征CF和通用特征GF投影为图节点通过可学习锚点、软分配矩阵、GCN和GAT显式建模二者的语义对应与跨图交互再将精炼后的节点特征投影回密集体素空间。LGRM在解码器末端加入轻量辅助分类分支预测NET或NETC、ED或SNFH、ET等病灶类型是否存在并用该概率对分割损失加权推理时若某类病灶存在概率低于阈值则抑制对应通道的分割概率以减少空区域和伪影区域的假阳性。Conclusion结论05论文提出AdaMM用于解决缺失模态脑肿瘤分割中的鲁棒性与泛化问题。其核心思想是在训练阶段用完整模态教师网络指导缺失模态学生网络同时通过GARM显式建模通用特征与模态组合特异特征之间的语义关系通过BBDM进行瓶颈层结构和风格蒸馏通过LGRM引入病灶存在先验来抑制假阳性。大量实验表明AdaMM在三个数据集、15种模态组合和多类缺失模态策略对比中表现稳定尤其适合临床中常见的不完整MRI输入。作者认为该框架不仅适用于BraTS式脑肿瘤分割其任务自适应与通用模块也可迁移到其他器官和多模态医学分割任务。未来方向包括引入自监督学习、扩展到更多解剖区域和任务并优化在资源受限或时间敏感临床环境中的部署。Results结果06实验使用三个数据集BraTS 2024包含1350例多模态MRI规模较大用于检验模型表达能力和可扩展性BraTS 2018包含285例用于评估小样本下的泛化能力Pretreat-MetsToBrain-Masks包含200例脑转移瘤MRI病灶形态异质性更强。四个输入模态为T1、T1Gd、T2、FLAIR作者构造15种非空模态组合并使用Dice、HD95、IoU和Sensitivity评估WT、TC、ET等区域。对比方法覆盖特征生成、数据生成、鲁棒增强、多任务学习、知识蒸馏和Transformer补偿等多类代表模型。结果表明AdaMM在BraTS 2024上取得WT、TC、ET平均Dice分别为83.90%、64.49%、63.54%整体优于MSTKDNet、SMUNet、MMCFormer等强基线在BraTS 2018和Pretreat-MetsToBrain-Masks上也保持优势。论文特别强调AdaMM在单模态和弱模态组合中提升显著说明其并非只依赖T1Gd等强模态而能通过适配器、图推理和蒸馏进行有效补偿。效率方面AdaMM仅约7.10M参数、319.20G FLOPs在A800 GPU上单个3D体数据约82 ms说明新增模块主要在训练或紧凑图空间中工作未造成明显推理负担。消融实验消融实验逐一移除BBDM、GARM和LGRM结果显示三者都对性能有重要贡献。去除BBDM后模型缺少全局风格和对抗特征对齐学生在缺失模态下更容易出现表征漂移边界更破碎ET、WT和TC的Dice均下降HD95上升。进一步去除GSME或判别器的实验说明GSME能稳定频域和空间域特征使学生更接近完整模态特征判别器则提供风格正则化减少浅层特征漂移。去除GARM后模型失去组合感知适配和通用特征之间的图结构交互难以针对不同缺失模式进行补偿尤其影响内部坏死区、增强区和边界结构的连通性。阈值τ的敏感性实验显示τ等于0.8时效果最好过低会引入过密低置信连接并传播噪声过高则图结构过稀导致跨模态补偿不足。去除LGRM后病灶存在先验消失低对比区域和血管伪影更容易被误分为肿瘤假阳性增加HD95明显恶化。作者还比较了共享适配器、线性融合和完整GARM证明组合特异适配和图结构建模是性能提升的重要来源而不是单纯增加模块数量。Figure图07图1.该图总结三类Imputation-based方法数据生成通过外部生成器合成缺失MRI模态特征生成在网络内部幻化缺失模态特征样本检索从相似病例中寻找替代信息。它为后文的系统比较提供背景也说明这类方法的共同思路是先恢复缺失信息再分割但潜在问题是合成真实性、特征噪声和检索依赖。图2.该图展示鲁棒增强、多任务学习和知识蒸馏三类Imputation-free方法。鲁棒增强通过随机模态丢弃直接适应不完整输入多任务学习用辅助重建分支帮助学习共享表征知识蒸馏则用完整模态教师指导缺失模态学生。本文AdaMM属于以知识蒸馏为核心的方法并在此基础上加入图引导适配和病灶可靠性建模。图3.该图是全文最核心的方法图展示训练阶段如何从完整四模态输入采样出15种缺失组合并通过Adapter Bank选择对应组合适配器。教师分支使用完整模态学生分支处理缺失模态BBDM负责全局风格匹配和对抗蒸馏GARM只作用于学生分支以增强缺失组合表征LGRM同时提供病灶存在概率和分割可靠性约束。推理时只保留学生网络因此训练中的教师和判别器不会增加推理成本。图4.该图细化GARM的三阶段流程。首先将组合感知特征和通用特征投影到图节点空间并建立节点对应其次通过跨图连接网络在两类图之间交换信息最后用图注意力进一步精炼节点并将增强后的图特征重投影回体素特征空间。它说明AdaMM不是简单拼接模态特征而是在紧凑图空间显式建模缺失组合与通用语义之间的结构关系。图5该图用不同模态组合适配器参数的余弦相似性展示Adapter Bank的学习行为。每个四位编码对应T1、T1Gd、T2、FLAIR是否存在。结果显示较深层适配器在不同组合间相似性更高说明它们逐渐向完整模态特征近似收敛同时热图仍保留组合特异差异支持作者关于组合级独立适配器能学习针对性补偿策略的论点。图6该图展示LGRM如何同时利用体素级分割概率和类别级病灶存在得分。学生和教师概率图与标签通过MSE进行体素级对齐同时把NET、ET、ED等病灶类别折叠为存在向量并用分类损失监督。该模块在推理时可根据病灶存在概率抑制不应出现的类别通道从而减少缺失模态下的假阳性。图7.该图比较不同模型在参数量与Dice、HD95、IoU、Sensitivity之间的关系红色点代表AdaMM。结果显示AdaMM在较小参数量下达到更高Dice和IoU、更低HD95及较高Sensitivity说明其性能提升并非依赖大模型堆叠而来自轻量适配、图推理和训练期蒸馏设计。图8.该图从计算量角度比较各方法。AdaMM在FLOPs相对较低的区域取得领先性能表明GARM在紧凑图节点上推理、BBDM主要用于训练、LGRM极轻量的设计有效平衡了精度和效率。该结果支持论文关于临床部署可行性的主张。图9.该图展示BraTS 2024样本在多种缺失模态组合下的分割可视化并与多个代表模型比较Dice和HD95。AdaMM的结果边界更贴合标签、肿瘤区域更连续尤其在T1Gd、T1Gd加FLAIR、T1Gd加FLAIR加T2等场景下表现出更高Dice和更低HD95说明其对模态缺失和边界细节均有较好鲁棒性。图10.该图比较去除BBDM、GARM、LGRM与完整AdaMM在不同模态配置下的分割热图。去除任一模块都会导致边界偏移、局部漏分或假阳性增加完整模型在WT、TC、ET的Dice更高说明三个模块在结构蒸馏、组合适配和可靠性约束方面具有互补作用。图11.该图用Mel频谱比较完整模态特征、带GSME的缺失模态重建特征和不带GSME的重建特征。带GSME时频谱差异更小中低频结构更稳定高频噪声更受抑制不带GSME时中高频响应更散乱说明GSME有助于保持边界和纹理表征稳定。图12.该图在空间特征图层面比较有无GSME的缺失模态重建特征。带GSME的特征响应更集中与完整模态特征更一致不带GSME时激活分布分散且局部伪响应明显。该图与图11共同解释了BBDM中全局风格匹配为什么能改善边界定位和结构连续性。