英文题目Semantic Segmentation of 3D Medical Images Through a Kaleidoscope: Data from the Osteoarthritis Initiative中文可译为通过“万花筒”实现三维医学图像语义分割来自 Osteoarthritis Initiative 的数据发表于MIDL 2023即Medical Imaging with Deep Learning 2023。一、摘要医学图像分割一直存在一个核心问题高质量 3D 标注非常昂贵而深度学习通常又需要大量标注数据。特别是膝关节 MRI如果要人工分割股骨胫骨髌骨软骨半月板ACLPCL与此同时完整160×384×384的 3D MRI 如果直接使用 3D CNN 处理对 GPU 显存要求也比较高。已有方法通常有两条路线Patch-based把 MRI 切成很多局部 patch。优点显存小一张 MRI 可以产生很多训练 patch小数据集下相当于增加训练样本。缺点每个 patch 只看到局部区域缺乏完整膝关节全局结构。Volume-based整张 3D MRI 一次输入。优点保留完整三维结构一次推理即可完成全体积分割。缺点显存占用大小数据集下容易过拟合。作者因此提出一种折中方法Kaleidoscope Transform不是把 3D 图像切成连续的局部 patch而是通过体素重排把整个图像变成很多 低分辨率、体素错位的全局子图这样每个子体积虽然分辨率下降了但是仍然对应整个膝关节的全局空间范围。最终实验表明在只有38 个 MRI、25 名患者这样非常小的数据集上KAN3D 相比原始 CAN3D 能减少过拟合尤其在加入 Dropout 后显著降低 Hausdorff Distance并且推理速度还更快。二、创新点1 首次把 Kaleidoscope Transform 扩展到 3D MRI 分割传统下采样160×384×384可能变成 40×96×96但是通常只得到一张低分辨率图像会丢失大量采样点。KT 不一样它不是简单丢掉 voxel而是把不同采样偏移对应的 voxel 分别保存下来。作者采用 (4,1)-KT因此沿三个维度分别以 4 倍采样 4×4×464最终一张 160×384×384的 3D MRI 被重新排列成 64×40×96×96也就是说没有真正把 voxel 丢掉而只是重新排列到 64 个低分辨率子体积中。2 提出兼具 Patch-based 和 Volume-based 优势的 KAN3D传统 只包含膝关节的一小部分。但是 KT 产生的每一个子体积虽然低分辨率却仍然覆盖 整个膝关节所以作者称这些东西其实更像 Global Patches它既像 patch-based一个 Volume 变成很多不同输入小样本训练更加稳定类似隐式数据增强。同时又像 volume-based每个输入仍有全局结构最后所有体素重新拼回来只需要一次完整推理最终 Loss 仍然在完整 3D segmentation 上计算。因此 KAN3D 是一个 Patch-basedVolume-based的折中方案。3.3 在极小标注数据下减少过拟合论文的数据集非常小 38 MRIs来自 25 patients作者就是专门测试这么少的数据模型还能不能训练结果发现原始 CAN3D 非常容易 Training Loss↓但 Test Loss波动明显。KAN3D 的测试 Loss 更稳定。特别是 KTDropout表现出较强的联合正则化效果。作者认为 KT 把一张 Volume 变成 64 个不同 voxel offset 的版本因此本身就有一点类似Data Augmentation 的正则作用。三、方法核心流程3DMRI→KT→CAN3D→Inverse KT→Full 3D Segmentation3.1 Kaleidoscope Transform假设普通 patch64×64×64可能只看到股骨的一部分。而 KT 子 Volume40×96×96虽然更加稀疏但它采的是整个原图不同位置的 voxel。所以仍然能看到 整个膝关节的大尺度结构例如股骨在哪里胫骨在哪里髌骨在哪里整个膝关节的相对位置。a 2,1-KT用于小2D图像。b4,1-KT用于3D图像。3D输入图像被分解为64个降采样图像的阵列。假设原始 Volume选择 ν4那么 (4,1)-KT会生成个子 Volume。因此 1×160×384×384经过 KT 后 64×40×96×96这里非常重要 1×160×384×384和 64×40×96×96包含的 voxel 总数其实完全一样。所以它并不是“把 75% 数据扔掉了”。而是 Voxel Rearrangement即体素重新排列。3.2 CAN3D BackboneKAN3D 的 backbone 并不是 U-Net而是之前的CAN3D即3D Context Aggregation NetworkCAN 的特点主要是使用 Dilated Convolution逐渐扩大感受野。论文中的 CAN3D 同时保留两次 Downsampling两次 UpsamplingSkip ConnectionDilated ConvolutionDeep Supervision。为什么 CAN 还要 Downsampling理论上 Context Aggregation Network 可以尽量避免下采样。但作者指出完整 3D MRI 太大 160×384×384如果完全不下采样GPU 显存无法支持合理的 feature channels。因此仍然采用两次 Downsampling作为计算量与空间分辨率之间的折中。3.3 Inverse KT网络完成 64 个低分辨率子体积的预测后不能直接当最终分割。作者再执行也就是把原来被分散到 64 个子 Volume 里的 voxel重新放回原始三维位置。于是 64×40×96×96恢复成 160×384×384最终得到完整 3D segmentation。四、实验4.1 数据集采用OAI膝关节 MRI。但是注意这篇论文并没有用 OAI 中几百例的大规模标注而是专门自己人工标注了很小的一批数据。总共 38 MRIs来自 25 patients其中部分患者有两个不同时间点。影像 3D DESS尺寸 160×384×384全部为 右膝一共包含背景外的10 个解剖结构Femoral bone股骨Femoral cartilage股骨软骨Tibial bone胫骨Tibial cartilage胫骨软骨Patellar bone髌骨Patellar cartilage髌骨软骨Medial meniscus内侧半月板Lateral meniscus外侧半月板Posterior cruciate ligament后交叉韧带Anterior cruciate ligament前交叉韧带。再加上 Background就是11 classes这些结构均由人工使用 ITK-SNAP进行分割标注。4.2 结果4.3 未来方向作者提出了一个很自然的方向Hybrid Model即KAN3D负责 Global Context普通高分辨率 CNN负责 Local Detail最后融合 GlobalLocal这样就有可能同时做好股骨胫骨以及软骨ACLPCL半月板。作者还明确提出 KT 可以与anomaly-aware segmentationnnU-Netsemi-supervised learningself-supervised learningdata augmentation进一步组合。五、结论这篇论文提出KAN3D核心就是在 3D segmentation CNN 前后加入Kaleidoscope TransformInverse Kaleidoscope Transform将160×384×384完整 MRI 通过体素重排转换为64×40×96×96的多个全局低分辨率表示。其目的并不是单纯“降采样加速”而是把一个困难的高分辨率 3D 分割问题转化成多个较简单的低分辨率全局分割问题最后再恢复成完整 3D 结果。不要把一张 3D MRI 切成很多只看局部的小 Patch而是把它“打散”成很多低分辨率但仍能看到整个膝关节的全局 Patch从而在极少数据下同时获得类似 patch-based 的正则化能力和 volume-based 的全局结构信息。实验表明在仅38 个 MRI的极小标注数据场景下KAN3D 能减少过拟合对股骨、胫骨等大结构分割效果较好KAN3D Dropout显著降低所有类别的 HD不需要额外 Data Augmentation推理从约 2.4 s/volume 降低到1.5 s/volume但软骨、半月板、ACL、PCL 等小结构的 Dice 并没有得到明显改善有些甚至下降。 医学论文解读：Semantic Segmentation of 3D Medical Images Through a Kaleidoscope: Data from the Osteoarthrit
英文题目Semantic Segmentation of 3D Medical Images Through a Kaleidoscope: Data from the Osteoarthritis Initiative中文可译为通过“万花筒”实现三维医学图像语义分割来自 Osteoarthritis Initiative 的数据发表于MIDL 2023即Medical Imaging with Deep Learning 2023。一、摘要医学图像分割一直存在一个核心问题高质量 3D 标注非常昂贵而深度学习通常又需要大量标注数据。特别是膝关节 MRI如果要人工分割股骨胫骨髌骨软骨半月板ACLPCL与此同时完整160×384×384的 3D MRI 如果直接使用 3D CNN 处理对 GPU 显存要求也比较高。已有方法通常有两条路线Patch-based把 MRI 切成很多局部 patch。优点显存小一张 MRI 可以产生很多训练 patch小数据集下相当于增加训练样本。缺点每个 patch 只看到局部区域缺乏完整膝关节全局结构。Volume-based整张 3D MRI 一次输入。优点保留完整三维结构一次推理即可完成全体积分割。缺点显存占用大小数据集下容易过拟合。作者因此提出一种折中方法Kaleidoscope Transform不是把 3D 图像切成连续的局部 patch而是通过体素重排把整个图像变成很多 低分辨率、体素错位的全局子图这样每个子体积虽然分辨率下降了但是仍然对应整个膝关节的全局空间范围。最终实验表明在只有38 个 MRI、25 名患者这样非常小的数据集上KAN3D 相比原始 CAN3D 能减少过拟合尤其在加入 Dropout 后显著降低 Hausdorff Distance并且推理速度还更快。二、创新点1 首次把 Kaleidoscope Transform 扩展到 3D MRI 分割传统下采样160×384×384可能变成 40×96×96但是通常只得到一张低分辨率图像会丢失大量采样点。KT 不一样它不是简单丢掉 voxel而是把不同采样偏移对应的 voxel 分别保存下来。作者采用 (4,1)-KT因此沿三个维度分别以 4 倍采样 4×4×464最终一张 160×384×384的 3D MRI 被重新排列成 64×40×96×96也就是说没有真正把 voxel 丢掉而只是重新排列到 64 个低分辨率子体积中。2 提出兼具 Patch-based 和 Volume-based 优势的 KAN3D传统 只包含膝关节的一小部分。但是 KT 产生的每一个子体积虽然低分辨率却仍然覆盖 整个膝关节所以作者称这些东西其实更像 Global Patches它既像 patch-based一个 Volume 变成很多不同输入小样本训练更加稳定类似隐式数据增强。同时又像 volume-based每个输入仍有全局结构最后所有体素重新拼回来只需要一次完整推理最终 Loss 仍然在完整 3D segmentation 上计算。因此 KAN3D 是一个 Patch-basedVolume-based的折中方案。3.3 在极小标注数据下减少过拟合论文的数据集非常小 38 MRIs来自 25 patients作者就是专门测试这么少的数据模型还能不能训练结果发现原始 CAN3D 非常容易 Training Loss↓但 Test Loss波动明显。KAN3D 的测试 Loss 更稳定。特别是 KTDropout表现出较强的联合正则化效果。作者认为 KT 把一张 Volume 变成 64 个不同 voxel offset 的版本因此本身就有一点类似Data Augmentation 的正则作用。三、方法核心流程3DMRI→KT→CAN3D→Inverse KT→Full 3D Segmentation3.1 Kaleidoscope Transform假设普通 patch64×64×64可能只看到股骨的一部分。而 KT 子 Volume40×96×96虽然更加稀疏但它采的是整个原图不同位置的 voxel。所以仍然能看到 整个膝关节的大尺度结构例如股骨在哪里胫骨在哪里髌骨在哪里整个膝关节的相对位置。a 2,1-KT用于小2D图像。b4,1-KT用于3D图像。3D输入图像被分解为64个降采样图像的阵列。假设原始 Volume选择 ν4那么 (4,1)-KT会生成个子 Volume。因此 1×160×384×384经过 KT 后 64×40×96×96这里非常重要 1×160×384×384和 64×40×96×96包含的 voxel 总数其实完全一样。所以它并不是“把 75% 数据扔掉了”。而是 Voxel Rearrangement即体素重新排列。3.2 CAN3D BackboneKAN3D 的 backbone 并不是 U-Net而是之前的CAN3D即3D Context Aggregation NetworkCAN 的特点主要是使用 Dilated Convolution逐渐扩大感受野。论文中的 CAN3D 同时保留两次 Downsampling两次 UpsamplingSkip ConnectionDilated ConvolutionDeep Supervision。为什么 CAN 还要 Downsampling理论上 Context Aggregation Network 可以尽量避免下采样。但作者指出完整 3D MRI 太大 160×384×384如果完全不下采样GPU 显存无法支持合理的 feature channels。因此仍然采用两次 Downsampling作为计算量与空间分辨率之间的折中。3.3 Inverse KT网络完成 64 个低分辨率子体积的预测后不能直接当最终分割。作者再执行也就是把原来被分散到 64 个子 Volume 里的 voxel重新放回原始三维位置。于是 64×40×96×96恢复成 160×384×384最终得到完整 3D segmentation。四、实验4.1 数据集采用OAI膝关节 MRI。但是注意这篇论文并没有用 OAI 中几百例的大规模标注而是专门自己人工标注了很小的一批数据。总共 38 MRIs来自 25 patients其中部分患者有两个不同时间点。影像 3D DESS尺寸 160×384×384全部为 右膝一共包含背景外的10 个解剖结构Femoral bone股骨Femoral cartilage股骨软骨Tibial bone胫骨Tibial cartilage胫骨软骨Patellar bone髌骨Patellar cartilage髌骨软骨Medial meniscus内侧半月板Lateral meniscus外侧半月板Posterior cruciate ligament后交叉韧带Anterior cruciate ligament前交叉韧带。再加上 Background就是11 classes这些结构均由人工使用 ITK-SNAP进行分割标注。4.2 结果4.3 未来方向作者提出了一个很自然的方向Hybrid Model即KAN3D负责 Global Context普通高分辨率 CNN负责 Local Detail最后融合 GlobalLocal这样就有可能同时做好股骨胫骨以及软骨ACLPCL半月板。作者还明确提出 KT 可以与anomaly-aware segmentationnnU-Netsemi-supervised learningself-supervised learningdata augmentation进一步组合。五、结论这篇论文提出KAN3D核心就是在 3D segmentation CNN 前后加入Kaleidoscope TransformInverse Kaleidoscope Transform将160×384×384完整 MRI 通过体素重排转换为64×40×96×96的多个全局低分辨率表示。其目的并不是单纯“降采样加速”而是把一个困难的高分辨率 3D 分割问题转化成多个较简单的低分辨率全局分割问题最后再恢复成完整 3D 结果。不要把一张 3D MRI 切成很多只看局部的小 Patch而是把它“打散”成很多低分辨率但仍能看到整个膝关节的全局 Patch从而在极少数据下同时获得类似 patch-based 的正则化能力和 volume-based 的全局结构信息。实验表明在仅38 个 MRI的极小标注数据场景下KAN3D 能减少过拟合对股骨、胫骨等大结构分割效果较好KAN3D Dropout显著降低所有类别的 HD不需要额外 Data Augmentation推理从约 2.4 s/volume 降低到1.5 s/volume但软骨、半月板、ACL、PCL 等小结构的 Dice 并没有得到明显改善有些甚至下降。