一、EfficientNet网络核心模块Mobile Inverted Bottleneck ConvolutionMBConv结构如下结构特点1Inverted Bottleneck Convolution倒置瓶颈:传统bottleneck是1x1卷积先降维而后升维Inverted Bottleneck是利用1x1卷积先升维然后降维2残差连接计算特点1Depthwise Conv2SE1.Depthwise ConvolutionDepthwise卷积每个通道单独卷积不进行直接聚合。输入[B,C1,H,W]——卷积——conv[C1,1,3,3]——输出——[B,C1,H,W] # 通道数不发生变化通道的变化由后续1x1卷积进行混合处理普通卷积输入[B,C1,H,W]——卷积——conv[C1,C1,3,3]——输出——[B,C1,H,W] # 这里假设C_outC_inC1# 普通卷积的单个输出通道由一组C_in*k*k卷积核得到而Depthwise卷积单个输出通道由1*k*k卷积核得到优点减少卷积核参数2.Squeeze-and-ExcitationSE作用是自动学习每个通道重要程度整体预览input[B,C,H,W] ——【SE】——output[B,C,H,W]output与input形状一样不同的是output的进行了通道重要性处理。具体SE过程1假设features[B,C,H,W]——Squeeze全局平均池化——pooled[B,C,1,1] #相当于每个通道总结了一个值这个值还不是权重2经过两个全连接层:pooled[B,C,1,1]——Linear1Linear2——weight[B,C,1,1] 得到学习权重3特征x权重features[B,C,H,W] * weight[B,C,1,1] SEed[B,C,H,W]3.完整MBConv过程二、EfficientNet结构大概长这样其中MBConv6中的6表示通道扩展倍率输入通道先通过1×1卷积扩大6倍在更高维特征空间中进行Depthwise卷积和SE注意力处理最后再通过1×1卷积压缩回输出通道。这个设计用较小计算量换取更强的特征表达能力。