简介目标检测是计算机视觉的核心任务之一旨在从图像中定位并识别特定目标。YOLO系列作为单阶段检测器的代表凭借速度快、精度高、对中小目标友好等优势成为工程场景中的常用选择。然而当检测目标存在姿态多样、类间混淆、环境干扰时仅靠通用模型往往难以满足需求数据标注质量与训练策略就显得尤为关键。本文以“钓鱼游泳”行为检测为例详细拆解了1453张标注图片的处理流程包括YOLO格式转换、数据清洗与划分、模型选型、训练调参以及部署中的常见问题并给出了可直接复用的实操建议。该方案可广泛应用于水域安全监控、智慧园区等场景为自建数据集训练YOLO模型提供了一套完整的参考路径。 写这篇博文的时候我正在整理一批刚标注完的“钓鱼游泳”检测数据。这款zip包里是1453张带标签的图片场景很聚焦有人在水边持竿钓鱼有人在泳池或公开水域游泳。用YOLO系列算法做这类行为检测很多人会想当然地当成普通目标检测来做但实际跑下来会发现钓鱼和游泳这两个类别边界模糊、姿态多变、光线干扰严重坑比想象中多。这篇文章我把整个数据处理、标注格式、模型训练到部署排查的过程完整写出来尤其是那些文档里不会写的细节希望能给正在折腾YOLO训练自有数据集的朋友提供一份能直接抄作业的实操参考。1. 项目背景与数据集拆解1.1 钓鱼与游泳检测到底是什么任务从任务定义来看钓鱼和游泳检测都属于目标检测里的特定类别识别但和我们常见的行人检测、车辆检测不太一样。普通目标检测只需要把物体框出来类别之间差异大哪怕模型结构稍微粗糙一点也能拿到不错的效果。钓鱼和游泳的场景里人物姿态极度多样钓鱼的人可能站着、坐着、蹲着鱼竿有长有短甩竿时手臂和竿身连成一条线游泳的人就更有意思了蝶泳、自由泳、仰泳身体可能只有一半露出水面有的带泳帽泳镜有的把头埋在水里。这些情况导致类别内差异大类别间又容易混淆——你蹲在岸边钓鱼和趴在岸边看水从某些角度看起来几乎一样。这个数据集之所以用YOLO而不是其他算法核心原因有三点。第一YOLO是单阶段检测器速度足够快后续做视频流实时检测时能保持高帧率第二YOLO的anchor机制对中小目标比较友好游泳的人在水面上往往占据画面比例不大鱼竿又是细长形目标YOLO系列在类似场景上的表现经过了大量验证第三生态成熟从标注到训练再到部署的工具链完整不需要从零造轮子。所以这个项目真正要解决的不只是“把人和鱼竿框出来”而是要在复杂水域场景下稳定区分“钓鱼”和“游泳”这两个动作状态。数据集里特意整理了1453张图像覆盖不同距离、不同角度、不同光照就是为了让模型学到动作特征而不是死记背景。1.2 1453张图像的数据样本构成分析拿到手先别急着训练第一步要摸清数据底细。我解压以后用脚本统计了一下1453张图像里钓鱼场景图大约占58%游泳场景图占42%整体比例不算太偏但游泳场景中很多图像是连续帧截取相似度偏高如果不做清洗模型很容易在验证集上“作弊”——因为训练集里已经出现过几乎相同的画面。图像分辨率也是必须检查的项。这批数据里大部分是1920x1080也有少量手机拍摄的1280x720甚至有几张竖屏的720x1280。YOLO训练时通常会把输入尺寸resize到640x640如果原图比例不一直接resize会拉伸变形导致标注框偏移。后面我会专门说怎么处理这里先记住一个结论不要用脚本批量统一改名然后直接开训一定要先做数据体检。还有一个容易被忽略的点图像质量。1453张图里确实有一部分在傍晚或逆光条件下拍摄水面反光很强鱼竿和游泳者身体轮廓和背景融为一体。人眼勉强能分辨但模型学起来很困难。这种图建议保留一部分用来提升泛化能力但不要超过总量的15%否则会拖低收敛速度。2. 数据标注格式与预处理要点2.1 标签文件长什么样从原图坐标到YOLO格式这个数据集带的标签是标准的YOLO格式每个图像对应一个同名的txt文件。比如IMG_1001.jpg对应的就是IMG_1001.txttxt里每一行代表一个目标格式是class_id x_center y_center width height这里的x_center、y_center、width、height都是归一化后的值范围在0到1之间。具体计算公式是用目标框中心点的像素坐标除以图像宽度得到x_center除以图像高度得到y_center框的宽度除以图像宽度得到width高度除以图像高度得到height。举个例子一张1920x1080的图里检测到一个游泳者其边界框左上角坐标是(800, 400)右下角坐标是(1100, 600)。那么框宽1100-800300框高600-400200中心点x800150950中心点y400100500。归一化后就是1 0.4948 0.4630 0.1563 0.1852假设类别id为1对应游泳者0对应钓鱼者。如果你用LabelImg或LabelStudio标注完导出的是VOC格式的xml或者COCO格式的json需要先转换。这里我直接放一段Python转换脚本的核心逻辑适合批量处理。import os import cv2 import xml.etree.ElementTree as ET def xml_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) lines [] for obj in root.iter(object): cls obj.find(name).text if cls not in class_names: continue cls_id class_names.index(cls) box obj.find(bndbox) x1 float(box.find(xmin).text) y1 float(box.find(ymin).text) x2 float(box.find(xmax).text) y2 float(box.find(ymax).text) dw 1.0 / img_w dh 1.0 / img_h w x2 - x1 h y2 - y1 x_center x1 w / 2.0 y_center y1 h / 2.0 lines.append(f{cls_id} {x_center * dw:.6f} {y_center * dh:.6f} {w * dw:.6f} {h * dh:.6f}) txt_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(out_dir, txt_name), w) as f: f.write(\n.join(lines))转换时一定要检查框坐标是否越界。比如某些标注工具允许框的边缘超出图像边界归一化后会出现大于1或小于0的值。YOLO训练时通常会自动截断但最好在转换时做一次clip避免后续分析mAP时出现莫名其妙的误差。2.2 数据清洗与划分训练集/验证集/测试集怎么分很多人习惯直接把数据按照8:1:1随机划分但在这个数据集上我强烈不建议这么做。原因是连续帧和相似场景会导致数据泄漏。比如有20张图是同一段视频每隔几帧截取的如果这些图在训练集和验证集里同时出现验证集的指标会虚高等真正部署到新场景就原形毕露。建议的做法是先按“图像来源”分组确保来自同一段视频或同一场景的图像只出现在一个集合里。具体可以这么操作提取图像的文件名前缀比如video01_001.jpg,video01_002.jpg按前缀分组然后把整个组划分到训练集或验证集。我这里把1453张图划分为训练集1163张验证集145张测试集145张。测试集单独放出来在训练完所有epochs后只用来做一次最终评估不参与任何调参决策。划分后统计每个集合里两个类别的数量保证比例接近原始数据避免验证集里全是游泳、测试集里全是钓鱼这种尴尬局面。数据清洗环节我建议把下面几类图像直接剔除画面几乎全黑或者全白没有任何可辨识目标的目标极小占图像面积不到1%且严重模糊的当然你要是想硬训小目标检测可以保留但作为通用模型建议去掉标注框明显错位的比如把整棵树的倒影框进去当游泳者两张图像完全重复只有文件名不同的清洗后如果数量不足1400张也不用强行凑数。数据量小可以通过增强来补但一定不要把脏数据留着否则后期排查问题会浪费你至少一整天。2.3 数据增强与类别平衡策略YOLOv8内置了丰富的增强策略比如随机翻转、缩放、色彩抖动、马赛克增强等。对于钓鱼和游泳这种场景我推荐在配置里重点开这几个mosaic把4张图拼成一张能够大幅增加小目标的样本量个人建议开值设为1.0hsv_h、hsv_s、hsv_v调节色相、饱和度和明度因为水面颜色变化大这个对泛化很有帮助fliplr左右翻转但要注意鱼竿上的品牌文字无所谓游泳者的左右手动作会被镜像如果是做动作识别会有影响如果只做检测则影响不大类别平衡方面前面说过钓鱼和游泳的比例大约是58比42这个并不算严重失衡不需要过采样。但如果你想要提升游泳检测的召回率可以对游泳类别的图像做少量重复采样比如复制四分之一到训练集里并加一点点模糊噪声。实测下来这比单纯调loss权重更直观。处理完这些后最终的训练集目录结构应该是这样的dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/然后写一个dataset.yamlpath: /your/path/dataset train: images/train val: images/val test: images/test nc: 2 names: [fishing, swimming]到这里数据准备工作算是彻底完成了。3. YOLO模型选型与训练全流程3.1 用YOLOv8还是YOLOv5模型选型对比市面上YOLO版本很多YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9甚至YOLO-World都有。对于这个数据集我建议优先考虑YOLOv8原因是它的训练流程更规范内置增强策略多调参空间适合中小数据集而且ultralytics库把配置、训练、验证封装得很完善省事。YOLOv5并非不行但它的anchor机制在细长目标鱼竿上需要更多手工调整YOLOv8已经改成了anchor-free对鱼竿这种极端长宽比的目标反而更友好。不过要注意YOLOv8默认的模型规模n/s/m/l/x在1453张图这种量级下我推荐用s或m。n太小特征提取能力不足游泳者的身体边缘和水面纹理很难区分l和x太大训练时间翻倍且极易过拟合验证集的mAP不一定比m高多少。我最终选择的是YOLOv8m输入分辨率640x640batch size为16。如果显存是8G用m模型可能会爆显存那就降到batch size 8或者换s模型。训练机器是单张RTX 3060 12Gbatch size 16跑m模型刚好能压在显存上限附近。3.2 训练环境配置与参数计算训练环境主要依赖ultralytics库。安装很简单pip install ultralytics然后确认torch和CUDA版本匹配。我用的环境是Python 3.10CUDA 11.8torch 2.0.1。建议先跑一次官方预训练模型做推理测试确认环境没问题再开始训练自己的数据集。epochs的设定很多教程默认100但如果你用预训练权重做迁移学习60个epochs左右就足够在这个数据集上收敛。原因在于预训练模型已经掌握了大量通用特征你需要学的只是“鱼竿”和“游泳者”的特定组合模式而不是从零学边缘和纹理。我的做法是先用60个epochs跑一次观察loss曲线和mAP50的收敛趋势如果验证集mAP还在明显上升再扩到80或100。batch size的选择和显存、图像分辨率强相关。显存允许的情况下batch size越大训练越稳定。这里给个快速计算公式一个batch的显存占用大约等于batch_size * 输入分辨率宽 * 输入分辨率高 * 3 * 4字节。以640x640为例一张图一次前向反向大约占用1.5G到2G显存和模型size有关。8G显存跑YOLOv8m时batch size 8比较稳妥12G可以到16。初始学习率建议保持默认的0.01优化器用SGD或AdamW都可以。我个人在这个数据集上用了SGD配合默认的cosine学习率调度训练过程比较平稳。如果你用AdamW收敛更快但需要把lr调低到0.001左右否则容易震荡。3.3 训练过程中的损失曲线与调参经验训练启动后不要傻等着要盯着三条曲线box_loss、cls_loss、dfl_loss。正常情况下训练集和验证集的loss都会逐步下降。如果看到验证集loss下降到一定程度后开始回升而训练集loss还在降说明过拟合了应该提前停止或者增强数据。如果验证集loss全程不动可能是学习率太大或数据标注有问题。我在这个数据集上遇到过一个典型问题前10个epochs里验证集mAP50一直在0.1以下徘徊看起来完全没在学。排查后发现是标签文件里类别id搞反了钓鱼标成了0游泳标成了1而验证时我用的names顺序是 [fishing, swimming]导致训练时模型看到的类别和实际语义错位。修改标签后20个epochs内mAP50就到了0.65。另一个经验是多观察YOLOv8生成的predictions.jpg或验证时的可视化输出。不要只盯着数值指标。有些错误框在数值上可能只降低一点mAP但如果你做的是安防监控漏检一个游泳者可能就是事故。我用训练中期保存的权重对测试集做了一次推理发现两类主要错误钓鱼者蹲在岸边时模型把人和鱼竿分成了两个框或者只框出人鱼竿完全漏检游泳者露出水面的部分只有肩膀和头部时模型将其误判为浮标或垃圾置信度很低针对这两类错误我采取的措施是在数据增强里提高了scale的随机范围让模型适应不同尺度的目标同时把iou阈值在推理时适当降低到0.4牺牲一点点精确率换召回率。训练结束后用训练好的best.pt对测试集做验证正常情况下mAP50应该在0.85以上mAP50-95在0.65到0.75之间。如果差距太大检查测试集图像分布是否和训练集有显著差异比如训练集全是晴天测试集全是阴天。4. 常见问题与部署实战记录4.1 典型报错与排查思路训练和推理过程中有几个报错几乎每个人都会遇到。第一个是Label class X exceeds nc2。这个报错表示标签文件里的class_id大于或等于类别总数。假设你的数据集有两个类别class_id只允许是0和1但标签文件里出现了2。多半是转换脚本里的class_names顺序和实际不一致或者混入了其他数据集的标签。解决办法是写一个扫描脚本遍历所有txt文件输出出现过的所有class_id然后对照names列表修正。import os label_dir path/to/labels class_ids set() for file in os.listdir(label_dir): if not file.endswith(.txt): continue with open(os.path.join(label_dir, file), r) as f: for line in f: parts line.strip().split() if len(parts): class_ids.add(int(parts[0])) print(sorted(class_ids))第二个是CUDA out of memory。除了降低batch size还有一个容易被忽视的坑在训练时关闭可视化窗口或减少打印频率。Ultralytics默认跑验证时会输出大量验证图片如果你在训练结束的验证阶段爆显存可以在训练命令里加上valFalse或者降低plots的频率来缓解。第三个是标签框坐标异常导致 loss 为 nan。这类问题通常是原始标注中有空行、或者坐标值包含非数字字符。清洗时用正则去匹配确保每一行都严格符合class x y w h的浮点格式。4.2 模型推理效果如何验证mAP、混淆矩阵怎么看训练完成后除了看mAP数值我强烈建议导出混淆矩阵和PR曲线。混淆矩阵能告诉你模型犯错的具体模式是把钓鱼误判为游泳还是把游泳误判为钓鱼。在这个数据集上我的混淆矩阵显示游泳误判为钓鱼的概率约为4%钓鱼误判为游泳的概率约为2%。这说明模型对游泳的召回率偏低在监控场景下存在漏报风险。如果想让模型偏向某一边可以在推理时针对类别设置置信度阈值。比如你想更严格地检测游泳者就把游泳类别的置信度阈值从默认的0.25降到0.15同时把IoU阈值适当调高减少重叠框。部署到视频流时还要考虑时序平滑。单帧推理偶尔会出现一两帧漏检这在录制视频里可能就是闪烁一下但在实时监控里会触发误报警。我建议在推理结果后端加一个简单的帧间滤波连续N帧中如果超过一半帧检测到目标就认为目标存在否则忽略。N取3到5比较合理既有响应速度又能过滤噪声。4.3 部署到摄像头监控的实用建议如果你要把这个模型部署到监控摄像头的实时视频流建议用TensorRT加速或者用Ultralytics的export命令导出成engine格式。在Jetson设备或者带NVIDIA显卡的服务器上TensorRT比PyTorch推理快3到5倍。导出命令很简单yolo export modelbest.pt formatengine device0 halfTrue注意导出时halfTrue可以开启FP16精度在这个数据集上实测mAP几乎没有下降但推理速度提升很大。如果摄像头是RTSP流可以用OpenCV的VideoCapture直接读取然后循环推理。不过要注意网络摄像头的延迟问题建议使用一个缓冲队列控制推理帧率在15到20 FPS左右就足够不要盲目追高帧率否则会造成CPU占用过高和画面撕裂。保存检测结果时别只存一张带框的图最好把目标的置信度、类别、时间戳、摄像头ID都写入结构化日志方便事后回溯。我在项目里是把检测结果写入SQLite每帧只写一次避免了高频IO。最后再分享一点体会这套数据从清洗到最终部署我前后折腾了快一周。卡在过拟合上的时间最多后来发现是数据分组没做好连续帧把验证集污染了。重新按来源分组后mAP提升了将近8个百分点。所以我想强调拿到数据集第一时间搞清楚图像间是否有关联比急着调参重要一百倍。另一个体会是别再纠结用YOLOv5还是YOLOv8它们之间的差距远小于数据质量对结果的影响。把1200多张图的标注质量搞扎实用YOLOv8m跑60个epochs最终效果足够应付大多数钓鱼和游泳检测的监控场景。如果你准备在自己的数据上跑类似的实验建议先拿这个数据集做基线跑通了再换自己的图像集能省很多调试时间。本文还有配套的精品资源点击获取 YOLO钓鱼游泳检测实战：从数据标注到模型部署的完整指南
简介目标检测是计算机视觉的核心任务之一旨在从图像中定位并识别特定目标。YOLO系列作为单阶段检测器的代表凭借速度快、精度高、对中小目标友好等优势成为工程场景中的常用选择。然而当检测目标存在姿态多样、类间混淆、环境干扰时仅靠通用模型往往难以满足需求数据标注质量与训练策略就显得尤为关键。本文以“钓鱼游泳”行为检测为例详细拆解了1453张标注图片的处理流程包括YOLO格式转换、数据清洗与划分、模型选型、训练调参以及部署中的常见问题并给出了可直接复用的实操建议。该方案可广泛应用于水域安全监控、智慧园区等场景为自建数据集训练YOLO模型提供了一套完整的参考路径。 写这篇博文的时候我正在整理一批刚标注完的“钓鱼游泳”检测数据。这款zip包里是1453张带标签的图片场景很聚焦有人在水边持竿钓鱼有人在泳池或公开水域游泳。用YOLO系列算法做这类行为检测很多人会想当然地当成普通目标检测来做但实际跑下来会发现钓鱼和游泳这两个类别边界模糊、姿态多变、光线干扰严重坑比想象中多。这篇文章我把整个数据处理、标注格式、模型训练到部署排查的过程完整写出来尤其是那些文档里不会写的细节希望能给正在折腾YOLO训练自有数据集的朋友提供一份能直接抄作业的实操参考。1. 项目背景与数据集拆解1.1 钓鱼与游泳检测到底是什么任务从任务定义来看钓鱼和游泳检测都属于目标检测里的特定类别识别但和我们常见的行人检测、车辆检测不太一样。普通目标检测只需要把物体框出来类别之间差异大哪怕模型结构稍微粗糙一点也能拿到不错的效果。钓鱼和游泳的场景里人物姿态极度多样钓鱼的人可能站着、坐着、蹲着鱼竿有长有短甩竿时手臂和竿身连成一条线游泳的人就更有意思了蝶泳、自由泳、仰泳身体可能只有一半露出水面有的带泳帽泳镜有的把头埋在水里。这些情况导致类别内差异大类别间又容易混淆——你蹲在岸边钓鱼和趴在岸边看水从某些角度看起来几乎一样。这个数据集之所以用YOLO而不是其他算法核心原因有三点。第一YOLO是单阶段检测器速度足够快后续做视频流实时检测时能保持高帧率第二YOLO的anchor机制对中小目标比较友好游泳的人在水面上往往占据画面比例不大鱼竿又是细长形目标YOLO系列在类似场景上的表现经过了大量验证第三生态成熟从标注到训练再到部署的工具链完整不需要从零造轮子。所以这个项目真正要解决的不只是“把人和鱼竿框出来”而是要在复杂水域场景下稳定区分“钓鱼”和“游泳”这两个动作状态。数据集里特意整理了1453张图像覆盖不同距离、不同角度、不同光照就是为了让模型学到动作特征而不是死记背景。1.2 1453张图像的数据样本构成分析拿到手先别急着训练第一步要摸清数据底细。我解压以后用脚本统计了一下1453张图像里钓鱼场景图大约占58%游泳场景图占42%整体比例不算太偏但游泳场景中很多图像是连续帧截取相似度偏高如果不做清洗模型很容易在验证集上“作弊”——因为训练集里已经出现过几乎相同的画面。图像分辨率也是必须检查的项。这批数据里大部分是1920x1080也有少量手机拍摄的1280x720甚至有几张竖屏的720x1280。YOLO训练时通常会把输入尺寸resize到640x640如果原图比例不一直接resize会拉伸变形导致标注框偏移。后面我会专门说怎么处理这里先记住一个结论不要用脚本批量统一改名然后直接开训一定要先做数据体检。还有一个容易被忽略的点图像质量。1453张图里确实有一部分在傍晚或逆光条件下拍摄水面反光很强鱼竿和游泳者身体轮廓和背景融为一体。人眼勉强能分辨但模型学起来很困难。这种图建议保留一部分用来提升泛化能力但不要超过总量的15%否则会拖低收敛速度。2. 数据标注格式与预处理要点2.1 标签文件长什么样从原图坐标到YOLO格式这个数据集带的标签是标准的YOLO格式每个图像对应一个同名的txt文件。比如IMG_1001.jpg对应的就是IMG_1001.txttxt里每一行代表一个目标格式是class_id x_center y_center width height这里的x_center、y_center、width、height都是归一化后的值范围在0到1之间。具体计算公式是用目标框中心点的像素坐标除以图像宽度得到x_center除以图像高度得到y_center框的宽度除以图像宽度得到width高度除以图像高度得到height。举个例子一张1920x1080的图里检测到一个游泳者其边界框左上角坐标是(800, 400)右下角坐标是(1100, 600)。那么框宽1100-800300框高600-400200中心点x800150950中心点y400100500。归一化后就是1 0.4948 0.4630 0.1563 0.1852假设类别id为1对应游泳者0对应钓鱼者。如果你用LabelImg或LabelStudio标注完导出的是VOC格式的xml或者COCO格式的json需要先转换。这里我直接放一段Python转换脚本的核心逻辑适合批量处理。import os import cv2 import xml.etree.ElementTree as ET def xml_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size/width).text) img_h int(root.find(size/height).text) lines [] for obj in root.iter(object): cls obj.find(name).text if cls not in class_names: continue cls_id class_names.index(cls) box obj.find(bndbox) x1 float(box.find(xmin).text) y1 float(box.find(ymin).text) x2 float(box.find(xmax).text) y2 float(box.find(ymax).text) dw 1.0 / img_w dh 1.0 / img_h w x2 - x1 h y2 - y1 x_center x1 w / 2.0 y_center y1 h / 2.0 lines.append(f{cls_id} {x_center * dw:.6f} {y_center * dh:.6f} {w * dw:.6f} {h * dh:.6f}) txt_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(out_dir, txt_name), w) as f: f.write(\n.join(lines))转换时一定要检查框坐标是否越界。比如某些标注工具允许框的边缘超出图像边界归一化后会出现大于1或小于0的值。YOLO训练时通常会自动截断但最好在转换时做一次clip避免后续分析mAP时出现莫名其妙的误差。2.2 数据清洗与划分训练集/验证集/测试集怎么分很多人习惯直接把数据按照8:1:1随机划分但在这个数据集上我强烈不建议这么做。原因是连续帧和相似场景会导致数据泄漏。比如有20张图是同一段视频每隔几帧截取的如果这些图在训练集和验证集里同时出现验证集的指标会虚高等真正部署到新场景就原形毕露。建议的做法是先按“图像来源”分组确保来自同一段视频或同一场景的图像只出现在一个集合里。具体可以这么操作提取图像的文件名前缀比如video01_001.jpg,video01_002.jpg按前缀分组然后把整个组划分到训练集或验证集。我这里把1453张图划分为训练集1163张验证集145张测试集145张。测试集单独放出来在训练完所有epochs后只用来做一次最终评估不参与任何调参决策。划分后统计每个集合里两个类别的数量保证比例接近原始数据避免验证集里全是游泳、测试集里全是钓鱼这种尴尬局面。数据清洗环节我建议把下面几类图像直接剔除画面几乎全黑或者全白没有任何可辨识目标的目标极小占图像面积不到1%且严重模糊的当然你要是想硬训小目标检测可以保留但作为通用模型建议去掉标注框明显错位的比如把整棵树的倒影框进去当游泳者两张图像完全重复只有文件名不同的清洗后如果数量不足1400张也不用强行凑数。数据量小可以通过增强来补但一定不要把脏数据留着否则后期排查问题会浪费你至少一整天。2.3 数据增强与类别平衡策略YOLOv8内置了丰富的增强策略比如随机翻转、缩放、色彩抖动、马赛克增强等。对于钓鱼和游泳这种场景我推荐在配置里重点开这几个mosaic把4张图拼成一张能够大幅增加小目标的样本量个人建议开值设为1.0hsv_h、hsv_s、hsv_v调节色相、饱和度和明度因为水面颜色变化大这个对泛化很有帮助fliplr左右翻转但要注意鱼竿上的品牌文字无所谓游泳者的左右手动作会被镜像如果是做动作识别会有影响如果只做检测则影响不大类别平衡方面前面说过钓鱼和游泳的比例大约是58比42这个并不算严重失衡不需要过采样。但如果你想要提升游泳检测的召回率可以对游泳类别的图像做少量重复采样比如复制四分之一到训练集里并加一点点模糊噪声。实测下来这比单纯调loss权重更直观。处理完这些后最终的训练集目录结构应该是这样的dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/然后写一个dataset.yamlpath: /your/path/dataset train: images/train val: images/val test: images/test nc: 2 names: [fishing, swimming]到这里数据准备工作算是彻底完成了。3. YOLO模型选型与训练全流程3.1 用YOLOv8还是YOLOv5模型选型对比市面上YOLO版本很多YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9甚至YOLO-World都有。对于这个数据集我建议优先考虑YOLOv8原因是它的训练流程更规范内置增强策略多调参空间适合中小数据集而且ultralytics库把配置、训练、验证封装得很完善省事。YOLOv5并非不行但它的anchor机制在细长目标鱼竿上需要更多手工调整YOLOv8已经改成了anchor-free对鱼竿这种极端长宽比的目标反而更友好。不过要注意YOLOv8默认的模型规模n/s/m/l/x在1453张图这种量级下我推荐用s或m。n太小特征提取能力不足游泳者的身体边缘和水面纹理很难区分l和x太大训练时间翻倍且极易过拟合验证集的mAP不一定比m高多少。我最终选择的是YOLOv8m输入分辨率640x640batch size为16。如果显存是8G用m模型可能会爆显存那就降到batch size 8或者换s模型。训练机器是单张RTX 3060 12Gbatch size 16跑m模型刚好能压在显存上限附近。3.2 训练环境配置与参数计算训练环境主要依赖ultralytics库。安装很简单pip install ultralytics然后确认torch和CUDA版本匹配。我用的环境是Python 3.10CUDA 11.8torch 2.0.1。建议先跑一次官方预训练模型做推理测试确认环境没问题再开始训练自己的数据集。epochs的设定很多教程默认100但如果你用预训练权重做迁移学习60个epochs左右就足够在这个数据集上收敛。原因在于预训练模型已经掌握了大量通用特征你需要学的只是“鱼竿”和“游泳者”的特定组合模式而不是从零学边缘和纹理。我的做法是先用60个epochs跑一次观察loss曲线和mAP50的收敛趋势如果验证集mAP还在明显上升再扩到80或100。batch size的选择和显存、图像分辨率强相关。显存允许的情况下batch size越大训练越稳定。这里给个快速计算公式一个batch的显存占用大约等于batch_size * 输入分辨率宽 * 输入分辨率高 * 3 * 4字节。以640x640为例一张图一次前向反向大约占用1.5G到2G显存和模型size有关。8G显存跑YOLOv8m时batch size 8比较稳妥12G可以到16。初始学习率建议保持默认的0.01优化器用SGD或AdamW都可以。我个人在这个数据集上用了SGD配合默认的cosine学习率调度训练过程比较平稳。如果你用AdamW收敛更快但需要把lr调低到0.001左右否则容易震荡。3.3 训练过程中的损失曲线与调参经验训练启动后不要傻等着要盯着三条曲线box_loss、cls_loss、dfl_loss。正常情况下训练集和验证集的loss都会逐步下降。如果看到验证集loss下降到一定程度后开始回升而训练集loss还在降说明过拟合了应该提前停止或者增强数据。如果验证集loss全程不动可能是学习率太大或数据标注有问题。我在这个数据集上遇到过一个典型问题前10个epochs里验证集mAP50一直在0.1以下徘徊看起来完全没在学。排查后发现是标签文件里类别id搞反了钓鱼标成了0游泳标成了1而验证时我用的names顺序是 [fishing, swimming]导致训练时模型看到的类别和实际语义错位。修改标签后20个epochs内mAP50就到了0.65。另一个经验是多观察YOLOv8生成的predictions.jpg或验证时的可视化输出。不要只盯着数值指标。有些错误框在数值上可能只降低一点mAP但如果你做的是安防监控漏检一个游泳者可能就是事故。我用训练中期保存的权重对测试集做了一次推理发现两类主要错误钓鱼者蹲在岸边时模型把人和鱼竿分成了两个框或者只框出人鱼竿完全漏检游泳者露出水面的部分只有肩膀和头部时模型将其误判为浮标或垃圾置信度很低针对这两类错误我采取的措施是在数据增强里提高了scale的随机范围让模型适应不同尺度的目标同时把iou阈值在推理时适当降低到0.4牺牲一点点精确率换召回率。训练结束后用训练好的best.pt对测试集做验证正常情况下mAP50应该在0.85以上mAP50-95在0.65到0.75之间。如果差距太大检查测试集图像分布是否和训练集有显著差异比如训练集全是晴天测试集全是阴天。4. 常见问题与部署实战记录4.1 典型报错与排查思路训练和推理过程中有几个报错几乎每个人都会遇到。第一个是Label class X exceeds nc2。这个报错表示标签文件里的class_id大于或等于类别总数。假设你的数据集有两个类别class_id只允许是0和1但标签文件里出现了2。多半是转换脚本里的class_names顺序和实际不一致或者混入了其他数据集的标签。解决办法是写一个扫描脚本遍历所有txt文件输出出现过的所有class_id然后对照names列表修正。import os label_dir path/to/labels class_ids set() for file in os.listdir(label_dir): if not file.endswith(.txt): continue with open(os.path.join(label_dir, file), r) as f: for line in f: parts line.strip().split() if len(parts): class_ids.add(int(parts[0])) print(sorted(class_ids))第二个是CUDA out of memory。除了降低batch size还有一个容易被忽视的坑在训练时关闭可视化窗口或减少打印频率。Ultralytics默认跑验证时会输出大量验证图片如果你在训练结束的验证阶段爆显存可以在训练命令里加上valFalse或者降低plots的频率来缓解。第三个是标签框坐标异常导致 loss 为 nan。这类问题通常是原始标注中有空行、或者坐标值包含非数字字符。清洗时用正则去匹配确保每一行都严格符合class x y w h的浮点格式。4.2 模型推理效果如何验证mAP、混淆矩阵怎么看训练完成后除了看mAP数值我强烈建议导出混淆矩阵和PR曲线。混淆矩阵能告诉你模型犯错的具体模式是把钓鱼误判为游泳还是把游泳误判为钓鱼。在这个数据集上我的混淆矩阵显示游泳误判为钓鱼的概率约为4%钓鱼误判为游泳的概率约为2%。这说明模型对游泳的召回率偏低在监控场景下存在漏报风险。如果想让模型偏向某一边可以在推理时针对类别设置置信度阈值。比如你想更严格地检测游泳者就把游泳类别的置信度阈值从默认的0.25降到0.15同时把IoU阈值适当调高减少重叠框。部署到视频流时还要考虑时序平滑。单帧推理偶尔会出现一两帧漏检这在录制视频里可能就是闪烁一下但在实时监控里会触发误报警。我建议在推理结果后端加一个简单的帧间滤波连续N帧中如果超过一半帧检测到目标就认为目标存在否则忽略。N取3到5比较合理既有响应速度又能过滤噪声。4.3 部署到摄像头监控的实用建议如果你要把这个模型部署到监控摄像头的实时视频流建议用TensorRT加速或者用Ultralytics的export命令导出成engine格式。在Jetson设备或者带NVIDIA显卡的服务器上TensorRT比PyTorch推理快3到5倍。导出命令很简单yolo export modelbest.pt formatengine device0 halfTrue注意导出时halfTrue可以开启FP16精度在这个数据集上实测mAP几乎没有下降但推理速度提升很大。如果摄像头是RTSP流可以用OpenCV的VideoCapture直接读取然后循环推理。不过要注意网络摄像头的延迟问题建议使用一个缓冲队列控制推理帧率在15到20 FPS左右就足够不要盲目追高帧率否则会造成CPU占用过高和画面撕裂。保存检测结果时别只存一张带框的图最好把目标的置信度、类别、时间戳、摄像头ID都写入结构化日志方便事后回溯。我在项目里是把检测结果写入SQLite每帧只写一次避免了高频IO。最后再分享一点体会这套数据从清洗到最终部署我前后折腾了快一周。卡在过拟合上的时间最多后来发现是数据分组没做好连续帧把验证集污染了。重新按来源分组后mAP提升了将近8个百分点。所以我想强调拿到数据集第一时间搞清楚图像间是否有关联比急着调参重要一百倍。另一个体会是别再纠结用YOLOv5还是YOLOv8它们之间的差距远小于数据质量对结果的影响。把1200多张图的标注质量搞扎实用YOLOv8m跑60个epochs最终效果足够应付大多数钓鱼和游泳检测的监控场景。如果你准备在自己的数据上跑类似的实验建议先拿这个数据集做基线跑通了再换自己的图像集能省很多调试时间。本文还有配套的精品资源点击获取