原文NASSFG: Neural architecture search with saliency feature guidance for medical image object detectionhttps://www.sciencedirect.com/science/article/abs/pii/S0957417425044173一、概述该研究指出传统的模型引用在医学目标检测上有两个明显问题①.骨干网络设计之初基本的目的是图像分类并未考虑目标检测需要的多尺度空间特征感知问题很难再检测精度和推理效率之间取得平衡。②.医学图像中病灶体积小、与周围正常组织边界模糊难以构建有足够辨识度的模型。为了解决上述问题作者提出了NASSFG模型 主要贡献包括三项①.建立了一种能感知空间细节和多尺度语义信息的搜索空间将CSP块编码为可变基因利用遗传算法和多目标优化策略在轻量级约束下进行骨干网络搜索。②.提出一种zero-shot代理模型从层级特征分布和梯度传播的角度表征模型的表现能力和可训练鞋只需要一次反向传播就能完成性能评估。③.提出一种融合多尺度空间和频率信息的FAFB有效的构建病变特征与模糊边界之间的属性差异引导网络增强对显著区域的观察。二、方法模型整体结构如图1所示该模型以RT-DERT为基础骨干网络中的CSP块被设计为可变并在多目标优化策略的引导下找到高识别精度和低推理复杂度的帕累托前沿。搜索好的骨干网络会被实例化到RT-DERT中同时在FAFB的引导下实现高质量检测。图1.模型整体结构1.搜索空间搜索空间主要分为两个部分基于单元的搜索空间和基于模块的搜索空间。基于单元的搜索空间以CSP块为基础如图2(d)所示。CSP相较于常规的Mobile Block和Res Block而言在减少特征冗余和增强梯度流方面优势明显能更好的满足目标检测的需求。其在短接通路采用1x1卷积进行降维增强表达能力的同时降低计算复杂度而在特征提取通路同样采用1x1卷积降维再通过N个Bottle Block进行特征提取同时多个Bottle Block也可以提供更高的压缩率以减少计算复杂度。图2.CSP块与常见的CNN模块对比在编码方面CSP块的参数被直接映射到定长矢量编码搜索阶段CSP块的映射方式如图3所示可编码内容如下①输入特征通道数与上一层的输出保持一致。②输出特征通道数与上面的的范围被设定为。③CSP块是否执行下采样。④CSP块中堆叠的Bottle Block个数。⑤Bottle Block内部的卷积信道范围与一致。图3. CSP块编码映射最优结构搜索可以被描述为一个两阶段优化问题。第一阶段中通过评分函数对候选子网络进行评估并进行排序这一阶段所有子网络都会被实例化并根据对应的输入进行评估。第二阶段中每个体系结构的评估在模型参数和浮点运算数的约束下行程一个多目标优化问题原文中参数的上限被设置为5.5M浮点运算数上限被设置为18GFlops。2.Zero-Shot代理Zero-Shot代理可以加速模型评估该方法采用微分熵(differential entory)来评估网络的表示能力微分熵的定义如下其中为数据集为样本数其中是标准化处理后的数据。上式中为模型本体使用MSE损失函数。上面两个式子是体系结构的初始权重向量另外还定义了网络每层的均值和方差一方便从特征分布的角度分析数据在网络层面的分布特征。汇总上面式子就可以得到微分熵的表达式上式中为模型层数方差越大表示对输入反应越大提示表达能力越强反之方差接近零则表示信息阻塞。为了进一步结合梯度信息进行模型评估本文还提出了一个梯度流动的评估方法对于样本而言损失函数梯度计算公式可以表述为上式中表示第个通道基于上式可以得到平均值和zero-shot代理参数上式中为总通道数梯度流动方差可以有效的衡量模型的可训练性。最终将微分熵和梯度流动方差结合得到代理评估模型相较于其他Zero-shot方法该方法更高效且能联合捕捉模型的表达能力和可训练能力。同时其不依赖算子可以同时评估整个模型。3.融合注意力傅里叶块融合注意傅里叶块Fused attention fourier block, FAFB可以通过整合浅层和深层语义信息来建立显著特征和非显著特征之间差异的模型该模块被设计来检测边缘模糊的病变。其可以利用高级别特征的高频和低频信息以及来自低级别特征的局部上下文线索。整个模块的设计如图4所示。图4.FAFB模块结构如图4所示FAFB模块主要由两个组件频域融合模块FFM和频域注意模块FAM组成。FFM使用傅里叶变换从高层特征中提取频率信息并将其与低层特征融合建立跨域语义关联FAM则通过高频信息构建局部上下文关系进一步增强特征表示。从实现上来说高层特征来自骨干网络的P5低层特征来自骨干网络的P3。高层特征记作低层特征记作。先通过1x1卷积将通道整合为随后使用双线性插值进行上采样使其尺寸与对齐再使用FFM增强其特征可描述为下式上式中FFT和IFFT分别表示傅里叶变换和逆傅里叶变化是可调整参数用来控制增强特征与原始特征之间的融合比。在完成了特征增强后融合特征将由FAM进行统一处理FAM从公示上就是普通Transformer模块不再进行赘述。同时FAFB这种还有归一化层LN和前馈网络FFN整个模块可以表述为公式