期刊Transactions on Medical Imaging年份2023英文题目Knee Cartilage Defect Assessment by Graph Representation and Surface Convolution中文译为基于图表示与表面卷积的膝关节软骨缺损评估一、摘要膝骨关节炎OA的一个重要影像学表现就是软骨缺损因此准确检测和评价软骨缺损对于 OA 早期诊断具有重要意义。传统 CNN 直接处理膝关节 MRI 时存在几个明显问题信息稀释软骨只占整个 MRI 很小一部分大量背景信息会削弱真正有价值的软骨特征结构辨识困难软骨是薄而弯曲的结构仅看局部 patch有时难以判断是正常软骨末端还是病理性缺损扫描参数异质性不同病例的图像大小、层间距等不同传统 CNN 往往要求固定尺寸输入可解释性不足普通 CNN 很难直接把模型关注区域映射到三维软骨表面。因此作者首先将股骨、胫骨和髌骨对应的软骨区域转换成统一的图结构让节点沿软骨所在的骨表面分布并为每个节点提取局部 MRI patch 和空间坐标。随后设计CSNet结合Patch ConvolutionGraph ConvolutionSelf-Attention同时学习软骨的局部影像特征和整体解剖结构关系最终完成软骨缺损分级并能够在三维软骨表面上显示模型重点关注的缺损区域。深度网络在评估膝关节软骨缺损时面临诸多挑战a信息稀释在膝关节MRI中软骨以不同颜色标注仅占小部分的体素而背景区域广阔b-c结构识别困难除了弯曲的软骨外单个斑块的局部外观也极易导致判断其是否存在缺陷时产生混淆。例如b和c均显示股骨软骨存在不连续现象。然而b为存在严重缺损的股骨软骨而c则为股骨软骨末端区域的正常组织。二、创新点创新一用图结构表示膝关节软骨传统方法直接使用MRI Volume作者改为MRI→Cartilage Graph沿骨表面自动设置节点每个节点包含局部 MRI Patch三维空间坐标与周围节点之间的连接关系。这样可以让网络重点关注软骨附近而不是整个 MRI 背景。更重要的是不同患者可以具有不同数量的节点因此天然适应不同 MRI 尺寸和层间距。创新二构建三种软骨解剖关系边作者不是简单地把相邻节点连起来而是设计了三种边1、As​同层软骨连续性连接同一 MRI slice、同一软骨表面上相邻的节点。主要描述 软骨沿表面的连续性2、Ac​不同软骨之间的空间关系连接同一 slice 中空间上接近但属于不同软骨的节点例如股骨软骨与胫骨软骨。用于建模 Load Bearing Friction等关节面之间的相互作用。3、Aa​跨层连续性连接相邻 MRI slice 中同一软骨的节点。用于描述软骨缺损在不同切片之间的连续变化。最终AAs​Ac​Aa​I 形成完整软骨拓扑图。创新三Cartilage Surface NetworkCSNet作者设计了专门处理该软骨图的网络。一个Cartilage Surface Convolution LayerCSCL同时包含Patch ConvolutionGraph Convolution其中Patch Convolution 学习每个节点附近软骨的局部影像表现Graph Convolution 在图节点之间传播信息学习软骨的整体结构关系。同时加入 Self-Attention让网络自动学习不同节点和不同边的重要程度。创新四实现可解释的三维缺损定位CSNet 不仅输出 Grade 0/1/2还可以把 Attention 映射回软骨表面。因此可以直接看到模型为什么判断存在软骨缺损以及缺损可能位于什么位置。这比单纯给一个分类概率更具有临床可解释性。三、方法所提方法的框架包括两个主要步骤(1)图构建用于异质膝关节MRI的转换为图表示(2)软骨表面网络软骨Surface Network CSNet分析其图表示并得出缺陷评估结果。3.1 软骨图表示构建整体流程的第一部分是MRI→Bone Segmentation→FOV Adjustment → Vertex Extraction → Edge Construction→Graph Represent值得注意的是作者不是先分割软骨再构图而是先分割骨骼。使用 U-Net 分割FemurTibiaPatella。之所以选择骨分割是因为 OA 患者软骨可能已经严重缺损软骨分割容易受到积液、交叉韧带等影响而骨结构通常更加稳定。1、FOV Adjustment视野范围调整根据股骨、胫骨和髌骨的分割结果裁剪 MRI 的有效区域只保留包含膝关节软骨及其周围结构的区域去除大量与软骨缺损无关的背景。这样既减少计算量也避免后续提取到无关节点。2、 Vertex Extraction在裁剪后的 FOV 中沿股骨、胫骨和髌骨表面自动采样顶点使这些顶点能够覆盖软骨所在区域。每个顶点包含两类信息局部 MRI Patch描述该位置的软骨影像特征空间坐标 (s,x,y)描述顶点在 MRI 中的位置。相邻顶点的 Patch 保持一定重叠因此不同患者可以根据软骨大小和扫描参数自适应生成不同数量的顶点。这样每个节点同时具有 Appearance Position​信息。3、Edge Construction不同节点通过前面提到的三类边连接As​同层相邻软骨Ac​不同软骨之间的空间关系Aa​跨MRI层的软骨连续性这样单个局部 Patch 不再孤立。例如一个局部区域看起来像“软骨中断”网络可以结合前后软骨是否连续相邻 slice 是否也出现异常周围关节面的软骨状态综合判断是真实缺损还是正常软骨末端。这正是图结构相比单纯 Patch CNN 的优势。4、Graph Representation图表示在完成顶点提取后作者将这些顶点按照软骨的解剖空间关系进行连接最终把膝关节软骨表示成一个非欧式图结构。图中Vertex节点表示软骨表面的局部区域包含 MRI Patch 和空间坐标Edge边描述不同节点之间的解剖关系。主要包括三种连接同一切片内沿软骨表面的连接 As​、同一切片内不同软骨之间的连接 Ac​以及相邻切片间同一软骨的连接 Aa​。简单来说就是把原来的 MRI 体数据转换成“软骨节点 节点之间空间关系”的图为后续 CSNet 的图卷积提供输入。3.3 Cartilage Surface Network构建图后送入CSNet。CSNet由多个CSCL​堆叠组成。每个 CSCL 包括两个主要部分Patch Convolution和Graph ConvolutionPatch Convolution对于每个节点的局部 MRI patch使用 4×(ConvBNReLU)提取局部软骨外观特征。因此主要回答这个局部区域看起来有没有缺损Graph Convolution随后将节点特征沿图边传播。Graph Convolution 中进一步加入Self-Attention Q,K,V计算不同节点之间的 Attention并动态调整图边权重。因此网络能够自动判断哪些相邻软骨区域对当前节点更加重要。简单概括就是 Patch Conv看局部Graph Conv看整体​3.4 缺损分级经过 L 个 CSCL 后对所有节点进行 Graph Average Pooling得到整个膝关节的全局特征 Hg​然后通过全连接层 Hg​→FC→Grade最终输出软骨缺损等级。而且该方法可以分别得到三个层次的缺损评估结果Subject-levelSlice-levelPatch-level四、试验4.1 数据集论文使用的是作者自建的临床膝关节 MRI 数据集。共1205 cases​来自上海市第六人民医院。MRI 为3.0T sagittal T2-weighted fat-suppressed MRI主要参数包括slice thickness3 mmmatrix292 × 188T2加权脂肪抑制序列。患者年龄范围 13−84岁数据由两名放射科医生完成分级和复核。4.2 结果作者与多种方法进行了比较包括U-Net EncoderDC-MT3D-MeTViTSwin TransformerResNet3D-ResNet。CSNet在三个层次都取得最佳或者最优水平。Subject-levelACC83.1% REC82.2% AUC92.9%Slice-level ACC87.4% REC79.5% AUC94.7%Patch-level ACC89.1% REC78.6% AUC95.1%说明图结构同时利用局部 Patch 整体软骨拓扑结构比单纯 2D/3D CNN 更适合软骨缺损分析。五、结论这篇论文的核心并不是简单设计一个新的 CNN而是重新思考“膝关节软骨到底应该以什么形式交给深度网络”传统方法MRI→CNN​作者提出 MRI→骨表面定位→软骨Graph→CSNet→缺损分级​通过 Graph Representation模型能够重点关注真正有意义的软骨区域并显式利用软骨局部外观软骨连续性不同关节面关系跨Slice关系再利用 Patch Convolution、Graph Convolution 和 Self-Attention 完成软骨缺损分级。实验表明该方法不仅取得较好的缺损分类性能而且对不同 MRI 层间距等扫描异质性具有更好的鲁棒性同时还能将模型 Attention 映射到三维软骨表面实现缺损区域可视化。