开始讲解之前推荐一下我的专栏本专栏的内容支持(分类、检测、分割、追踪、关键点检测),专栏目前为限时折扣欢迎大家订阅本专栏本专栏每周更新5-7篇最新机制更有包含我所有改进的文件和交流群提供给大家本人定期在群内分享发表论文方法和经验。一、本文介绍本文给大家带来的改进内容是将RT-DETR 中的 HGNet 主干网络融合到 YOLOv26 中用来替换原有 Backbone进一步提升模型的特征提取能力和检测效果。RT-DETR 是百度提出的一种实时端到端目标检测模型主打的就是在保证检测精度的同时兼顾推理速度在实时检测领域有很高的参考价值。其中HGNet是 RT-DETR 中非常重要的主干结构相比普通卷积主干它在特征提取时更加注重高效特征表达、多层信息融合和计算效率平衡能够让模型在不明显增加推理压力的情况下获得更强的图像理解能力。将 HGNet 引入 YOLOv26 后相当于给模型换了一个更强、更适合实时检测的“特征提取骨架”可以帮助 YOLOv26 更好地提取目标的边缘、纹理、轮廓以及深层语义信息尤其适合复杂背景、小目标、多尺度目标和特征不明显的检测场景。这个改进的卖点在于来源模型强、结构新颖、主干替换思路清晰、适合论文改进而且目前关于 HGNet 的公开讲解相对较少很多内容需要结合网络结构进行分析所以本次改进也具备一定的二次整理和创新价值。实际测试中该主干替换后在数据集上取得了一定的涨点效果mAP 提高约 0.05说明 HGNet 对 YOLOv26 的特征提取能力有一定增强作用。本文将从HGNet 的结构特点、主干替换思路、代码添加方法和实验效果几个方面进行讲解方便大家快速将该网络接入自己的 YOLOv26 模型中用来丰富论文中的 主干网络改进点、消融实验内容和性能提升分析。专栏链接YOLOv26有效涨点专栏包含Conv、注意力机制、主干/Backbone、损失函数、优化器、后处理等改进机制​目录一、本文介绍二、HGNetV2原理讲解三、HGNetV2的代码四、手把手教你添加HGNetV24. 1 HGNetV2-l的yaml文件(此为对比试验版本)4.2 HGNetV2-x的yaml文件五、运行成功记录5.1 运行记录5.2 训练代码六、本文总结二、HGNetV2原理讲解​本文论文地址RT-DETR论文地址本文代码来源HGNetV2的代码来源​PP-HGNet 骨干网络的整体结构如下其中PP-HGNet是由多个HG-Block组成HG-Block的细节如下上面的图表是PP-HGNet神经网络架构的概览下面我会对其中的每一个模块进行分析1. Stem层这是网络的初始预处理层通常包含卷积层开始从原始输入数据中提取特征。2. HG层次图块这些块是网络的核心组件设计用于以层次化的方式处理数据。每个HG块可能处理数据的不同抽象层次允许网络从低级和高级特征中学习。3. LDS可学习的下采样层位于HG块之间的这些层可能执行下采样操作减少特征图的空间维度减少计算负载并可能增加后续层的感受野。4. GAP全局平均池化在最终分类之前使用GAP层将特征图的空间维度减少到每个特征图一个向量有助于提高网络对输入数据空间变换的鲁棒性。5. 最终的卷积和全连接FC层网络以一系列执行最终分类任务的层结束。这通常涉及一个卷积层有时称为1x1卷积来组合特征然后是将这些特征映射到所需输出类别数量的全连接层。这种架构的主要思想是利用层次化的方法来提取特征其中复杂的模式可以在不同的规模和抽象层次上学习提高网络处理复杂图像数据的能力。这种分层和高效的处理对于图像分类等复杂任务非常有利在这些任务中精确预测至关重要的是在不同规模上识别复杂的模式和特征。图表还显示了HG块的扩展视图包括多个不同滤波器大小的卷积层以捕获多样化的特征然后通过一个元素级相加或连接的操作由符号表示在数据传递到下一层之前。三、HGNetV2的代码需要注意的是HGNetV2这个版本的所需组件已经集成在YOLOv8的仓库了所以我们无需做任何的代码层面的改动只需要设计yaml文件来配合Neck部分融合特征即可了但是我还是把代码放在这里供有兴趣的读者看一下也和上面的结构进行一个对照。主要的三个结构HGStemHGBlockDWConv。class HGStem(nn.Module): StemBlock of PPHGNetV2 with 5 convolutions and one maxpool2d. https://github.com/PaddlePaddle/PaddleDetection/blob/develop/ppdet/modeling/backbones/hgnet_v2.py def __init__(self, c1, cm, c2): Initialize the SPP layer with input/output channels and specified kernel sizes for max pooling. super().__init__() self.stem1 Conv(c1, cm, 3, 2) self.stem2a Conv(cm, cm // 2, 2, 1, 0) self.stem2b Conv(cm // 2, cm, 2, 1, 0) self.stem3 Conv(cm * 2, cm, 3, 2) self.stem4 Conv(cm, c2, 1, 1) self.pool nn.MaxPool2d(kernel_size2, stride1, padding0, ceil_modeTrue) def forward(self, x): Forward pass of a PPHGNetV2 backbone layer. x self.stem1(x) x F.pad(x, [0, 1, 0, 1]) x2 self.stem2a(x) x2 F.pad(x2, [0, 1, 0, 1]) x2 self.stem2b(x2) x1 self.pool(x) x torch.cat([x1, x2], dim1) x self.stem3(x) x self.stem4(x) return x class HGBlock(nn.Module): HG_Block of PPHGNetV2 with 2 convolutions and LightConv. https://github.com/PaddlePaddle/PaddleDetection/blob/develop/ppdet/modeling/backbones/hgnet_v2.py def __init__(self, c1, cm, c2, k3, n6, lightconvFalse, shortcutFalse, actTrue): Initializes a CSP Bottleneck with 1 convolution using specified input and output channels. super().__init__() block LightConv if lightconv else Conv self.m nn.ModuleList(block(c1 if i 0 else cm, cm, kk, actact) for i in range(n)) self.sc Conv(c1 n * cm, c2 // 2, 1, 1, actact) # squeeze conv self.ec Conv(c2 // 2, c2, 1, 1, actact) # excitation conv self.add shortcut and c1 c2 def forward(self, x): Forward pass of a PPHGNetV2 backbone layer. y [x] y.extend(m(y[-1]) for m in self.m) y self.ec(self.sc(torch.cat(y, 1))) return y x if self.add else y def autopad(k, pNone, d1): # kernel, padding, dilation Pad to same shape outputs. if d 1: k d * (k - 1) 1 if isinstance(k, int) else [d * (x - 1) 1 for x in k] # actual kernel-size if p is None: p k // 2 if isinstance(k, int) else [x // 2 for x in k] # auto-pad return p class Conv(nn.Module): Standard convolution with args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation). default_act nn.SiLU() # default activation def __init__(self, c1, c2, k1, s1, pNone, g1, d1, actTrue): Initialize Conv layer with given arguments including activation. super().__init__() self.conv nn.Conv2d(c1, c2, k, s, autopad(k, p, d), groupsg, dilationd, biasFalse) self.bn nn.BatchNorm2d(c2) self.act self.default_act if act is True else act if isinstance(act, nn.Module) else nn.Identity() def forward(self, x): Apply convolution, batch normalization and activation to input tensor. return self.act(self.bn(self.conv(x))) def forward_fuse(self, x): Perform transposed convolution of 2D data. return self.act(self.conv(x)) class DWConv(Conv): Depth-wise convolution. def __init__(self, c1, c2, k1, s1, d1, actTrue): # ch_in, ch_out, kernel, stride, dilation, activation Initialize Depth-wise convolution with given parameters. super().__init__(c1, c2, k, s, gmath.gcd(c1, c2), dd, actact)四、手把手教你添加HGNetV2我们首先需要找到ultralytics/nn/tasks.py文件然后找到def parse_model(d, ch, verboseTrue): # model_dict, input_channels(3)我们按照下面第二张图片进行修改图1为初始样子。复制此处的代码按照下面的图片进行添加即可不要自己打cm make_divisible(min(cm, max_channels) * width, 8) c2 make_divisible(min(c2, max_channels) * width, 8) n n_ max(round(n * depth), 1) if n 1 else n # depth gain五、yaml文件5.1 HGNetV2-l的yaml文件(此为对比试验版本)此版本的信息为YOLO26-Backbone-HGNetV2-l summary: 296 layers, 2,005,356 parameters, 2,005,356 gradients, 4.9 GFLOPs# 需要注意模型轻量化了往往代表学习能力变弱相同的数据集需要训练的轮次拟合的次数需要变多.# Ultralytics YOLO , AGPL-3.0 license # YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect # Parameters nc: 80 # number of classes end2end: True # whether to use end-to-end mode reg_max: 1 # DFL bins scales: # model compound scaling constants, i.e. modelyolo26n.yaml will call yolo26.yaml with scale n # [depth, width, max_channels] n: [0.50, 0.25, 1024] # summary: 260 layers, 2,572,280 parameters, 2,572,280 gradients, 6.1 GFLOPs s: [0.50, 0.50, 1024] # summary: 260 layers, 10,009,784 parameters, 10,009,784 gradients, 22.8 GFLOPs m: [0.50, 1.00, 512] # summary: 280 layers, 21,896,248 parameters, 21,896,248 gradients, 75.4 GFLOPs l: [1.00, 1.00, 512] # summary: 392 layers, 26,299,704 parameters, 26,299,704 gradients, 93.8 GFLOPs x: [1.00, 1.50, 512] # summary: 392 layers, 58,993,368 parameters, 58,993,368 gradients, 209.5 GFLOPs # YOLO26n backbone backbone: # [from, repeats, module, args] - [-1, 1, HGStem, [32, 48]] # 0-P2/4 - [-1, 6, HGBlock, [48, 128, 3]] # stage 1 - [-1, 1, DWConv, [128, 3, 2, 1, False]] # 2-P3/8 - [-1, 6, HGBlock, [96, 512, 3]] # stage 2 - [-1, 1, DWConv, [512, 3, 2, 1, False]] # 4-P3/16 - [-1, 6, HGBlock, [192, 1024, 5, True, False]] # cm, c2, k, light, shortcut - [-1, 6, HGBlock, [192, 1024, 5, True, True]] - [-1, 6, HGBlock, [192, 1024, 5, True, True]] # stage 3 - [-1, 1, DWConv, [1024, 3, 2, 1, False]] # 8-P4/32 - [-1, 6, HGBlock, [384, 2048, 5, True, False]] # stage 4 - [-1, 1, SPPF, [1024, 5, 3, True]] # 10 - [-1, 2, C2PSA, [1024]] # 11 # YOLO26n head head: - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 7], 1, Concat, [1]] # cat backbone P4 - [-1, 2, C3k2, [512, True]] # 14 - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 3], 1, Concat, [1]] # cat backbone P3 - [-1, 2, C3k2, [256, True]] # 17 (P3/8-small) - [-1, 1, Conv, [256, 3, 2]] - [[-1, 14], 1, Concat, [1]] # cat head P4 - [-1, 2, C3k2, [512, True]] # 20 (P4/16-medium) - [-1, 1, Conv, [512, 3, 2]] - [[-1, 11], 1, Concat, [1]] # cat head P5 - [-1, 2, C3k2, [1024, True, 0.5, True]] # 23 (P5/32-large) - [[17, 20, 23], 1, Detect, [nc]] # Detect(P3, P4, P5)5.2 HGNetV2-x的yaml文件此版本的信息为YOLO26-Backbone-HGNetV2-x summary: 346 layers, 2,505,324 parameters, 2,505,324 gradients, 6.8 GFLOPs# 需要注意模型轻量化了往往代表学习能力变弱相同的数据集需要训练的轮次拟合的次数需要变多.# Ultralytics YOLO , AGPL-3.0 license # YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect # Parameters nc: 80 # number of classes end2end: True # whether to use end-to-end mode reg_max: 1 # DFL bins scales: # model compound scaling constants, i.e. modelyolo26n.yaml will call yolo26.yaml with scale n # [depth, width, max_channels] n: [0.50, 0.25, 1024] # summary: 260 layers, 2,572,280 parameters, 2,572,280 gradients, 6.1 GFLOPs s: [0.50, 0.50, 1024] # summary: 260 layers, 10,009,784 parameters, 10,009,784 gradients, 22.8 GFLOPs m: [0.50, 1.00, 512] # summary: 280 layers, 21,896,248 parameters, 21,896,248 gradients, 75.4 GFLOPs l: [1.00, 1.00, 512] # summary: 392 layers, 26,299,704 parameters, 26,299,704 gradients, 93.8 GFLOPs x: [1.00, 1.50, 512] # summary: 392 layers, 58,993,368 parameters, 58,993,368 gradients, 209.5 GFLOPs # YOLO26n backbone backbone: # [from, repeats, module, args] - [-1, 1, HGStem, [32, 64]] # 0-P2/4 - [-1, 6, HGBlock, [64, 128, 3]] # stage 1 - [-1, 1, DWConv, [128, 3, 2, 1, False]] # 2-P3/8 - [-1, 6, HGBlock, [128, 512, 3]] - [-1, 6, HGBlock, [128, 512, 3, False, True]] # 4-stage 2 - [-1, 1, DWConv, [512, 3, 2, 1, False]] # 5-P3/16 - [-1, 6, HGBlock, [256, 1024, 5, True, False]] # cm, c2, k, light, shortcut - [-1, 6, HGBlock, [256, 1024, 5, True, True]] - [-1, 6, HGBlock, [256, 1024, 5, True, True]] - [-1, 6, HGBlock, [256, 1024, 5, True, True]] - [-1, 6, HGBlock, [256, 1024, 5, True, True]] # 10-stage 3 - [-1, 1, DWConv, [1024, 3, 2, 1, False]] # 11-P4/32 - [-1, 6, HGBlock, [512, 2048, 5, True, False]] - [-1, 6, HGBlock, [512, 2048, 5, True, True]] # 13-stage 4 - [-1, 1, SPPF, [1024, 5, 3, True]] # 14 - [-1, 2, C2PSA, [1024]] # 15 # YOLO26n head head: - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 10], 1, Concat, [1]] # cat backbone P4 - [-1, 2, C3k2, [512, True]] # 18 - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 4], 1, Concat, [1]] # cat backbone P3 - [-1, 2, C3k2, [256, True]] # 21 (P3/8-small) - [-1, 1, Conv, [256, 3, 2]] - [[-1, 18], 1, Concat, [1]] # cat head P4 - [-1, 2, C3k2, [512, True]] # 24 (P4/16-medium) - [-1, 1, Conv, [512, 3, 2]] - [[-1, 15], 1, Concat, [1]] # cat head P5 - [-1, 2, C3k2, [1024, True, 0.5, True]] # 27 (P5/32-large) - [[21, 24, 27], 1, Detect, [nc]] # Detect(P3, P4, P5)六、运行成功记录6.1 运行记录6.2 训练代码import warnings warnings.filterwarnings(ignore) from ultralytics import YOLO if __name__ __main__: model YOLO(模型配置文件地址,也就是5.1你保存到本地文件的地址) # 如何切换模型版本, 上面的ymal文件可以改为 yolo26s.yaml就是使用的26s, # 类似某个改进的yaml文件名称为yolo26-XXX.yaml那么如果想使用其它版本就把上面的名称改为yolo26l-XXX.yaml即可改的是上面YOLO中间的名字不是配置文件的 # model.load(yolo26n.pt) # 是否加载预训练权重,科研不建议大家加载否则很难提升精度 model.train( datar数据集文件地址, # 如果大家任务是其它的ultralytics/cfg/default.yaml找到这里修改task可以改成detect, segment, classify, pose cacheFalse, imgsz640, epochs20, single_clsFalse, # 是否是单类别检测 batch16, close_mosaic0, workers0, device0, optimizerMuSGD, # using SGD/MuSGD # resume, # 这里是填写last.pt地址 ampTrue, # 如果出现训练损失为Nan可以关闭amp projectruns/train, nameexp, )七、本文总结到此本文的正式分享内容就结束了在这里给大家推荐我的YOLOv26改进有效涨点专栏本专栏目前为新开的平均质量分98分后期我会根据各种最新的前沿顶会进行论文复现也会对一些老的改进机制进行补充如果大家觉得本文帮助到你了订阅本专栏关注后续更多的更新~专栏链接YOLOv26有效涨点专栏包含Conv、注意力机制、主干/Backbone、损失函数、优化器、后处理等改进机制​