在深度学习项目里“缝合模块”几乎是每个做改进创新的人都绕不开的操作。无论你是入门不久的新手还是已经在跑实验的老手大概率都遇到过这种情况看到某篇论文里的注意力模块很好用或者某个开源项目里的特征增强模块效果不错想把它搬到自己的模型里结果一改就报错或者训练出来效果反而变差了。这篇文章就用一套完整的三步法带你从零开始把缝合模块这件事做对、做稳并且能真正产生改进收益。1. 缝合模块到底是什么为什么大家都在谈“缝合”1.1 缝合模块的通俗理解“缝合模块”并不是一个学术定义而是深度学习开发者和研究者之间常用的一个形象说法。它的含义很直白把一个已经设计好的、在某个任务上验证过有效的模块插入到另一个模型或另一套网络结构当中希望通过这种方式让目标模型获得额外的能力。举个例子。你现在用的是 ResNet 做图像分类你发现 SENet 里的 SE 模块Squeeze-and-Excitation Block可以显式建模通道之间的依赖关系于是你想把 SE 模块加到 ResNet 的每个残差块里这就是一次典型的“缝合”。缝合模块之所以流行是因为深度学习模型的改进并不总是需要从零设计全新的网络结构。很多时候把一个设计良好的通用模块嫁接到现有模型中就能以很小的代价获得稳定提升。这种方式在论文实验、竞赛调参、工业项目里都非常常见。1.2 缝合与原创改进的区别这里需要先做一个概念区分。很多人以为“缝合”就是简单地把代码拷过来复制粘贴到自己的模型文件里就完事了。实际上有效缝合和无效缝合之间的差别非常大。有效缝合清楚模块的工作原理明白它在哪里生效、输入输出是什么形状、对梯度有什么影响缝合之后做了回归测试和消融对比。无效缝合只把模块类拷贝过来在模型里随便插一下运行不报错就算成功完全没有验证模块是否真的起作用。从“改进创新”的角度看缝合模块属于“组合式创新”。它不是在真空里造一个新的数学公式而是利用已有研究成果通过合理的结构组合方式获得性能提升。所以缝合模块想要做出真正有价值的改进第一步不是写代码而是搞清楚“缝什么”和“缝哪里”。1.3 常见的缝合形式在实际项目中缝合模块的形式多种多样最常见的有下面几类缝合形式典型模块应用位置目标注意力模块SE、CBAM、ECA、CA卷积之后、残差连接之前增强重要特征抑制无关特征特征融合模块FPN、ASPP、PPM多尺度特征层之间提升多尺度目标感知能力激活函数替换GELU、SiLU、Mish卷积层之后改善梯度流动损失函数模块Focal Loss、Dice Loss网络输出端缓解类别不均衡归一化模块GN、LN、BN卷积层之后稳定训练过程虽然每种模块的缝合方式不同但核心流程是一致的。下面这套三步法就是针对所有缝合场景提炼出的通用操作路径。2. 三步法总览从基线到稳定收益2.1 为什么需要三步法很多人在缝合模块时经常犯的错误是拿到代码就插插完就跑跑完看数字数字不行就换一个模块继续插。这样做的结果通常是浪费了大量训练时间最后也不清楚问题到底出在模块本身还是自己缝合的位置不对。三步法的核心思路是把“缝合模块”这件事拆成三个可以独立验证的阶段每个阶段都有明确产出。这样当最终结果不理想时你能快速定位是哪个环节出了问题。2.2 三步法整体流程整个流程可以概括为第一步确认基线模型与任务目标。先跑通一个稳定的基线搞清楚当前模型的瓶颈在哪里然后确定缝合哪个模块、缝在什么位置。第二步做好形状对齐与接口改造。把模块代码整合进模型时重点检查输入输出维度、张量形状、数据流方向确保前向传播不报错。第三步回归验证与消融对比。通过对比实验确认模块是否真的带来提升同时检查训练稳定性、过拟合情况和计算开销。这三步缺一不可。下面我会用一个完整案例把这套方法逐步演示出来。3. 环境准备与工程结构3.1 环境说明本文的演示代码基于 PyTorch 编写。由于不同的 PyTorch 版本在 API 细节上会有差别下面列出的是通用环境操作系统LinuxWindows 和 macOS 也基本兼容语言版本Python 3.8 或更高版本深度学习框架PyTorch 1.10 及以上版本视觉库torchvision 0.11 及以上版本硬件建议使用 NVIDIA GPU显存 8GB 以上工具CUDA 11.x 或更新版本如果你的环境中没有安装 PyTorch可以通过以下命令安装 CPU 版本用于本地验证。需要说明的是实际训练建议使用 GPU 版本。pip install torch torchvision如果已经有 GPU 环境请根据你的 CUDA 版本前往 PyTorch 官网选择对应的安装命令。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。3.2 项目目录结构为了让大家看得清楚我先把完整的项目结构列出来se_resnet_demo/ ├── models/ │ ├── __init__.py │ ├── se_block.py │ └── resnet_se.py ├── train.py ├── validate.py └── README.mdmodels/se_block.py保存 SE 模块的定义。models/resnet_se.py保存缝合后的 ResNet 模型。train.py训练脚本包含数据加载、模型初始化、训练循环。validate.py验证脚本用于单独评估模型精度。3.3 准备数据集本文使用 CIFAR-10 数据集作为演示数据。这个数据集有 10 个类别图片尺寸为 32×32规模适中训练速度快非常适合用来验证模块缝合的效果。PyTorch 的torchvision会自动下载 CIFAR-10无需手动准备。不过在实际项目里你通常需要使用自己的业务数据。这里用 CIFAR-10 主要是为了让大家把注意力集中在“缝合模块”这件事本身。4. 三步法实操以 SE 模块缝入 ResNet 为例下面我们进入实战。为了演示完整流程我会把 SE 模块缝合进 ResNet18 的残差块中。这是图像分类领域一个非常经典的组合也是很多人第一次接触“缝合模块”时最常见的实验。4.1 第一步实操确认基线与缝合位置在动手改代码之前先要回答三个问题当前模型的性能瓶颈是什么我选择的 SE 模块对口解决什么问题SE 模块应该放在模型哪个位置对于第一个问题ResNet18 在 CIFAR-10 上的基线精度通常在 90% 左右不同实现略有差异模型规模小特征表达能力有限尤其是对通道间依赖关系的建模主要靠卷积层隐式完成没有显式机制。对于第二个问题SE 模块的核心作用是建立通道之间的依赖关系。它通过全局平均池化收集每个通道的全局信息然后通过两个全连接层学习通道权重最后对原始特征进行重新标定。简单来说SE 模块让网络明白“哪些特征通道更重要”。对于第三个问题SE 模块通常放在残差块内部、两次卷积之后、残差相加之前。这样SE 模块可以学习到当前残差分支的特征权重然后与恒等映射相加时重要特征会被放大。这一步的产出物不是代码而是下面这张简单的决策表项目决策内容基线模型ResNet18基线任务CIFAR-10 图像分类待缝合模块SE Block缝合位置BasicBlock 中第二个卷积和 BN 之后预期收益提升分类准确率且计算开销可接受4.2 第二步实操定义 SE 模块并改造网络4.2.1 编写 SE 模块SE 模块的代码本身并不复杂。它的输入是一个四维张量[B, C, H, W]输出形状与输入完全一致这是它能够方便地插入任意卷积网络位置的前提。# 文件路径models/se_block.py import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super(SEBlock, self).__init__() # 压缩过程全局平均池化将 HxW 压缩为 1x1 self.squeeze nn.AdaptiveAvgPool2d(1) # 激励过程两个全连接层学习通道权重 self.excitation nn.Sequential( nn.Linear(channels, channels // reduction, biasFalse), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels, biasFalse), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() # 第一步压缩 y self.squeeze(x).view(b, c) # 第二步激励 y self.excitation(y).view(b, c, 1, 1) # 第三步重新标定 return x * y.expand_as(x)这段代码里有几个关键点需要解释AdaptiveAvgPool2d(1)的作用是把任意尺寸的特征图池化为 1×1输出形状是[B, C, 1, 1]。view(b, c)把形状从[B, C, 1, 1]展平成[B, C]方便送入全连接层。channels // reduction是中间隐藏层的维度。reduction 默认取 16意思是通道数先压缩 16 倍再恢复原样这个超参数控制着模块的参数量和表达能力。最后x * y.expand_as(x)把学习到的通道权重逐通道乘到原始特征上。这里有一个细节值得注意如果channels不能被reduction整除channels // reduction的结果会向下取整一般不会出错但极端情况下可能变成 0。如果你的模块输入通道数很小比如只有 8 或 16建议把reduction调小或者使用max(1, channels // reduction)做保护。4.2.2 改造 ResNet 的 BasicBlock接下来我们把 SEBlock 缝合进 ResNet18 的 BasicBlock。ResNet18 使用的基础残差块叫BasicBlock它由两个 3×3 卷积组成中间有一次激活函数。# 文件路径models/resnet_se.py import torch.nn as nn from .se_block import SEBlock class BasicBlock(nn.Module): expansion 1 def __init__(self, inplanes, planes, stride1, downsampleNone, use_seTrue): super(BasicBlock, self).__init__() self.conv1 nn.Conv2d(inplanes, planes, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(planes) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(planes, planes, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(planes) # 缝合点在第二个 BN 之后插入 SEBlock self.se SEBlock(planes) if use_se else nn.Identity() self.downsample downsample self.stride stride def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) # 缝合模块在这里介入 out self.se(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return out和原始 ResNet 相比改动非常小只增加了一行self.se SEBlock(planes)和一行out self.se(out)。这正好体现了“缝合模块”的意义不需要推翻整个模型结构只需要在合适的位置插入新的处理逻辑。你可能会有疑问为什么把 SE 放在bn2之后、残差相加之前这是因为 SE 模块的输入需要是经过卷积和归一化后的特征图。如果放在bn2之前特征还没有完成归一化权重的学习会受到特征尺度波动的影响如果放在残差相加之后SE 会对加和后的特征重新标定这也不是 SE 论文里的原始设计。所以保持模块本身的原始意图是缝合模块时需要遵守的重要原则。4.2.3 构建完整的 ResNet_SE 模型这里我们只需要构造一个能在 CIFAR-10 上训练的简化版 ResNet18。为了节省篇幅我直接给出一个精简但完整的模型类。它会根据use_se参数决定是否启用 SE 模块方便后续做消融对比实验。# 文件路径models/resnet_se.py import torch.nn as nn from .se_block import SEBlock class BasicBlock(nn.Module): expansion 1 def __init__(self, inplanes, planes, stride1, downsampleNone, use_seTrue): super(BasicBlock, self).__init__() self.conv1 nn.Conv2d(inplanes, planes, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(planes) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(planes, planes, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(planes) self.se SEBlock(planes) if use_se else nn.Identity() self.downsample downsample self.stride stride def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out self.se(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return out class ResNetSE(nn.Module): def __init__(self, num_classes10, use_seTrue): super(ResNetSE, self).__init__() self.inplanes 64 # 适配 CIFAR-10 的 32x32 输入 self.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) self.bn1 nn.BatchNorm2d(64) self.relu nn.ReLU(inplaceTrue) self.layer1 self._make_layer(64, 2, stride1, use_seuse_se) self.layer2 self._make_layer(128, 2, stride2, use_seuse_se) self.layer3 self._make_layer(256, 2, stride2, use_seuse_se) self.layer4 self._make_layer(512, 2, stride2, use_seuse_se) self.avgpool nn.AdaptiveAvgPool2d((1, 1)) self.fc nn.Linear(512, num_classes) self._init_weights() def _make_layer(self, planes, blocks, stride1, use_seTrue): downsample None if stride ! 1 or self.inplanes ! planes: downsample nn.Sequential( nn.Conv2d(self.inplanes, planes, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(planes), ) layers [] layers.append(BasicBlock(self.inplanes, planes, stride, downsample, use_seuse_se)) self.inplanes planes for _ in range(1, blocks): layers.append(BasicBlock(self.inplanes, planes, use_seuse_se)) return nn.Sequential(*layers) def _init_weights(self): for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) elif isinstance(m, nn.BatchNorm2d): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) def forward(self, x): x self.conv1(x) x self.bn1(x) x self.relu(x) x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.layer4(x) x self.avgpool(x) x x.view(x.size(0), -1) x self.fc(x) return x这段代码做了几个针对 CIFAR-10 的调整原版 ResNet18 的conv1是 7×7、stride2 的大卷积核但 CIFAR-10 的图像只有 32×32直接使用大卷积核会丢失大量信息。这里改成 3×3、stride1保持分辨率。去掉maxpool层同样是为了适配小分辨率输入。最终的分类头改成 10 类输出。这些都属于缝合模块前的准备工作目的是保证基线模型在自己的任务上先跑出一个稳定的结果。4.3 第三步实操训练、验证与消融对比4.3.1 编写训练脚本训练脚本train.py负责加载数据、初始化模型、执行训练循环并保存模型权重。# 文件路径train.py import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader from models.resnet_se import ResNetSE def main(): batch_size 128 epochs 30 device torch.device(cuda if torch.cuda.is_available() else cpu) print(Using device:, device) # 数据增强与归一化 transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) transform_test transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) trainset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform_train) trainloader DataLoader(trainset, batch_sizebatch_size, shuffleTrue, num_workers2) testset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform_test) testloader DataLoader(testset, batch_sizebatch_size, shuffleFalse, num_workers2) # 是否使用 SE 模块 use_se True model ResNetSE(num_classes10, use_seuse_se).to(device) criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) best_acc 0.0 for epoch in range(1, epochs 1): model.train() running_loss 0.0 correct 0 total 0 for inputs, targets in trainloader: inputs, targets inputs.to(device), targets.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, targets) loss.backward() optimizer.step() running_loss loss.item() _, predicted outputs.max(1) total targets.size(0) correct predicted.eq(targets).sum().item() scheduler.step() train_acc 100.0 * correct / total print(fEpoch [{epoch}/{epochs}] Loss: {running_loss/len(trainloader):.4f} fTrain Acc: {train_acc:.2f}%) # 每个 epoch 结束后做一次验证 model.eval() val_correct 0 val_total 0 with torch.no_grad(): for inputs, targets in testloader: inputs, targets inputs.to(device), targets.to(device) outputs model(inputs) _, predicted outputs.max(1) val_total targets.size(0) val_correct predicted.eq(targets).sum().item() val_acc 100.0 * val_correct / val_total print(fEpoch [{epoch}/{epochs}] Val Acc: {val_acc:.2f}%) if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), fresnet18_{se if use_se else baseline}_best.pth) print(fSave best model, acc {best_acc:.2f}%) print(fBest Acc: {best_acc:.2f}%) if __name__ __main__: main()这个脚本里有几个值得注意的细节学习率设为 0.1配合CosineAnnealingLR做余弦退火这是 CIFAR-10 上训练 ResNet 的常见配置。数据增强使用了随机裁剪和随机水平翻转可以显著提升模型泛化能力。use_se参数控制是否启用 SE 模块方便跑消融实验。每个 epoch 结束后都会在测试集上验证一次并保存精度最高的模型。运行训练python train.py如果你想跑基线模型不带 SE只需要把train.py里的use_se True改成use_se False再运行一次即可。4.3.2 编写独立验证脚本训练结束后可以使用validate.py单独加载保存的模型权重进行验证。# 文件路径validate.py import torch import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader from models.resnet_se import ResNetSE def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) use_se True transform_test transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) testset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform_test) testloader DataLoader(testset, batch_size128, shuffleFalse, num_workers2) model ResNetSE(num_classes10, use_seuse_se).to(device) model.load_state_dict(torch.load(resnet18_se_best.pth, map_locationdevice)) model.eval() correct 0 total 0 with torch.no_grad(): for inputs, targets in testloader: inputs, targets inputs.to(device), targets.to(device) outputs model(inputs) _, predicted outputs.max(1) total targets.size(0) correct predicted.eq(targets).sum().item() print(fTest Accuracy: {100.0 * correct / total:.2f}%) if __name__ __main__: main()运行验证python validate.py4.3.3 结果说明与消融对比按照上面的流程你的实验输出大致会是这样两个结果模型是否加入 SE 模块验证集准确率参考值参数量变化ResNet18否约 90.2%基线ResNet18_SE是约 91.5%0.8% 左右这里的参考值并不绝对因为 CIFAR-10 的实验结果会受到随机种子、数据增强方式、训练轮数等因素影响。我在这里给出的是一个典型范围。重点在于只有当你同时跑出基线和加入模块后的结果并确认加入模块后精度有提升、训练过程稳定才能说明这次“缝合”是有效的。如果加入模块后精度反而下降通常说明缝合位置不对或者模块的超参数比如 reduction 值需要调整。5. 常见问题与排查思路缝合模块最容易踩的坑往往不是模块本身写得有问题而是缝合过程中出现了接口不匹配、训练不稳定、效果回退等问题。下面整理了几个高频问题。5.1 维度不匹配前向传播报错这是最基础的报错类型几乎每个缝合模块的人都会遇到。常见的报错信息有size mismatch, m1: [64 x 512], m2: [256 x 1024] RuntimeError: The size of tensor a (32) must match the size of tensor b (64)出现这类报错根本原因是模块的输入张量形状和模型在当前位置的特征形状不一致。例如SE 模块中的全连接层需要输入通道数为channels但你在缝合时传入的实际通道数是另一个值。排查思路打印模块输入特征和输出特征的形状。核对模块初始化时传入的参数是否正确。检查最接近缝合位置的卷积层输出通道数。# 调试用在 forward 中添加临时打印 print(SE input shape:, x.shape) out self.se(out) print(SE output shape:, out.shape)5.2 模块的梯度没有传播有时候模型可以正常训练但损失下降得很慢或者某个模块的参数始终不变。这通常是因为模块的输出没有参与最终 loss 的计算路径。排查思路在训练循环中手动打印模块参数的梯度。检查是否有detach()调用把梯度截断了。检查模块输出是否真的参与了后续计算而不是被直接丢弃。# 在训练循环中加入梯度检查 for name, param in model.named_parameters(): if param.grad is not None: print(f{name}: grad_mean {param.grad.abs().mean().item():.8f})如果某个模块的参数梯度长时间为 0说明该模块没有真正被反向传播更新。5.3 加入模块后效果反而下降这种情况比报错更让人头疼。可能的原因有缝合位置不合适。模块被放在了特征信息已经丢失的位置无法发挥应有作用。超参数不匹配。比如 SE 模块的reduction设置过大导致中间层表达能力不足。学习率策略不匹配。新加入模块的梯度尺度与原有网络不同需要在训练初期使用更小的学习率或 warmup。数据集太小模块引入了额外的参数产生过拟合。排查思路先做消融实验确认模块是否确实在起作用。尝试把模块放到模型中不同的位置对比效果。调整模块自身的超参数。增加训练轮数或调整正则化强度。5.4 显存溢出缝合模块会引入额外的中间特征和参数训练时显存占用会相应增加。如果加入模块后出现out of memory可以从两个方面入手减小 batch size。使用梯度累积模拟更大的 batch size。检查模块中是否有不必要的超大中间变量。例如torch.utils.checkpoint可以用计算换显存from torch.utils.checkpoint import checkpoint # 对模块的 forward 使用 checkpoint需要模块支持 out checkpoint(self.se, out, use_reentrantFalse)5.5 训练不收敛或损失震荡模块的加入可能会改变梯度的分布导致原有学习率不再合适。常见的解决手段包括问题现象常见原因解决思路损失不下降学习率过大或过小调整学习率配合 warmup 策略损失震荡严重梯度并不稳定减小学习率或增加梯度裁剪验证集精度波动大模块导致过拟合增加正则化或调整 dropout训练明显变慢模块计算量过大减少模块使用频率优化实现6. 工程最佳实践与论文写作建议6.1 模块设计规范缝合模块时建议遵循以下设计规范输入输出形状保持一致。这是最理想的设计可以减少对原有模型结构的破坏。尽量做成可插拔组件。给模块增加use_se之类的开关方便做消融实验。参数初始化要合理。新加入模块的初始化应该保证训练初期不会对原始特征造成剧烈扰动。保持模块原始语义。不要为了适配自己的模型随意修改模块内部结构如果必须修改要在实验记录中标注清楚。6.2 实验记录规范做缝合模块改进实验时强烈建议你维护一个实验记录表。CSV 或 Excel 都可以关键是记录以下信息实验编号基线模型名称缝合的模块名称和源码来源缝合位置是否修改了模块内部结构训练超参数学习率、batch size、epochs数据增强方式最佳精度参数量和 FLOPs 变化训练的随机种子这些数据在未来写论文、做项目复盘、向团队汇报时都用得上。6.3 论文或项目中的表述建议如果你是为了论文写作而做模块缝合有一点需要特别注意论文里不要写“我把 A 模块缝到 B 网络里”而是应该用专业术语描述你的改进动机和结构变化。例如不说“缝合了 SE 模块”而是说“引入通道注意力机制对残差分支进行特征重标定”。不说“复制了开源代码”而是说“基于 XX 方法的思想设计了适合本任务的注意力模块”。这不是在回避缝合的事实而是因为论文需要强调的是“为什么这样做”和“带来了什么收益”而不是技术操作的细节。6.4 不同任务下的缝合选择不同任务对模块的敏感度差异很大图像分类任务注意力模块通常有效但收益会随着模型变大而递减。目标检测任务特征融合模块如 FPN 类和多尺度模块往往比注意力模块更直接。语义分割任务ASPP、PPM 这类上下文聚合模块是主流选择。小样本任务轻量级模块更合适避免过拟合。建议在缝合之前先检索一下同类任务中哪些模块被验证过有效不要仅凭直觉选择模块。7. 总结与下一步行动这篇文章从“缝合模块”的概念讲起重点演示了如何通过三步法把 SE 模块高效地缝合进 ResNet 中。核心要点可以概括为先确认基线和任务目标明确缝合什么模块、缝合在哪里。缝合时不光要保证代码不报错还要保证张量形状、梯度流动、模块语义都正确。通过消融对比实验确认模块真实有效避免盲目堆叠。有了这套方法你完全可以把它复用到其他模块上。比如把 CBAM 换成 ECA、把 FPN 缝进检测模型、把 Focal Loss 加到分类头里操作思路都是一致的。下一步建议你动手做两件事。第一用本文的代码跑一次基线实验再跑一次带上 SE 模块的实验把两个结果记录下来。第二挑一个你业务中真正需要用到的模块按三步法流程做一次完整缝合重点观察加入模块前后的精度和训练稳定性差异。踩过一轮坑之后你对“缝合模块”的理解会比看十篇文章更扎实。