简介本资源面向计算机视觉方向的研究者与工程实践者聚焦海上复杂场景下的多目标检测任务提供基于YOLOv8的船只、行人及海上标志物牡蛎架、航标、浮标、礁石等识别完整训练方案。资源包含已划分好的10000高质量图像数据集目录结构规范含train/val/test三级子目录及配套data.yaml配置文件6类Oyster-rack、beacon、boat、buoy、people、reef标签为标准YOLO格式txt可直接用于YOLOv5/v7/v8/v9等系列模型训练。压缩包共2000个文件主体为1984个标注txt文件辅以13个说明文档md、2个PDF技术参考及1个核心yaml配置文件整体大小864.25MB。已有232人学习下载资源附有详细README指引与实测效果参考链接开箱即用显著降低海上视觉感知任务的数据准备与模型调优门槛。 我们做海洋视觉的同学应该都有同感陆地上的检测模型放到海边基本上一眼假。船只在海面上尺度跨度极大近处整艘船可能占据整个画面远处几公里外只有几十个像素海面反光、雾气、雨滴让背景极其复杂行人尺度小、姿态多样还经常和浮标、航标这类海上标志物混在一起。我最近正好完成了一套基于YOLOv8的船只-行人-海上标志物识别方案包含一份约1万张图像的三类目标数据集和一套可直接使用的训练权重这篇就把整个项目的落地过程完整拆一遍。这套权重和数据集适合谁如果你在做海事监控、港口安防、无人船避障、航道巡检、船舶流量统计或者准备在智能摄像头、Jetson嵌入式设备上跑水岸场景检测可以直接参考。我会把数据怎么来、标注怎么定、训练参数怎么选、损失函数曲线怎么判读、踩过的坑怎么避都讲清楚争取做到你拿过去就能复现出一套属于自己的水上识别模型。1. 整体设计思路与场景拆解1.1 为什么海洋场景比通用场景难做先说痛点。通用目标检测数据集COCO、VOC里最多的场景是人和车背景是街道、室内、草地纹理相对均匀。海上场景有几个明显差异直接影响模型设计和数据准备背景极不平稳海面有波浪纹理、镜面反光、云雾遮挡这些区域在视觉上和“道路-行人”的复杂度完全不是一个量级。模型很容易把反光区域误检成白色船体。目标尺度跨度大近处货轮几千像素远处的小渔船可能只有十几个像素属于严格意义上的小目标。YOLOv8默认的640分辨率下十几个像素的目标基本丢掉了特征。类别之间有语义重叠海上标志物浮标、航标、灯塔和船只在颜色、形状上有时很接近比如红色浮标和红色船体行人和船只如果距离太近边界框很容易互相覆盖。样本获取成本高公开数据集里水上目标数据相对少标注一艘船上千个像素是大工作量的活导致专门针对海洋场景的公开数据集少之又少。所以这个项目最核心的设计决策就是不止是“拿一个预训练模型过来微调”而是从头搭建一套面向海洋目标特点的数据集训练方案。1万张图不算极大但覆盖了不同天气、时段、视角配合增强策略能撑起一个可用的工程模型。1.2 三类目标的检测思路差异这个任务里三个类别——船只、行人、海上标志物——检测难度和优化方向完全不同训练时要把它们当成“三类任务”而不是一个任务的三个标签。船只boat/ship样本最多尺度变化大是最容易训练出高mAP的类别。关键点是边界框定义。我采用的是COCO风格框必须包住船体的吃水线以上部分包括船帆/上层建筑但不需要包含倒影。倒影这个点很多人忽略如果标了倒影模型会去学“一团白色边缘”对真实船体判断反而产生干扰。行人person海上场景的行人规模通常比陆地的行人检测小很多——甲板上的人、岸堤上的人、救生艇上的人。如果沿用COCO对person的定义会出现大量漏检因为海上行人目标普遍太小。我们的做法是把“行人”细化为“海上可见人形”同时增加近岸行人样本避免模型对远处小行人完全失敏。海上标志物maritime mark这是最容易被忽略但实际应用价值很高的一类。包括红色/绿色浮标、锥形航标、灯塔、灯船、防波堤标识等。这类目标颜色鲜艳但形状各异而且长期暴露在水面会褪色导致颜色特征不稳定。边界框统一定义为标志物的可见主体不包含基座和水下部分。这类目标样本数量本来就少所以我们在数据增强上花了很大功夫。1.3 为什么选YOLOv8而不是其他方案选择YOLOv8有几个实际考量速度快海洋监控往往是实时视频流YOLOv8s在GTX 1660Ti上640分辨率能跑到50 FPSTensorRT优化后1080Ti上能到100 FPS。对比Faster R-CNN、Cascade R-CNN这类两阶段模型速度优势非常明显。小目标能力比前代更好YOLOv8改成了anchor-free设计不再依赖手工锚框聚类对尺度变化大的目标自发适应能力更强。配合大分辨率输入小目标检测明显优于YOLOv5。训练生态成熟Ultralytics官方仓库开箱即用loss曲线、验证指标、模型导出ONNX/TensorRT/NCNN都很顺省去大量工程时间。权重复用便利基于COCO预训练权重做迁移学习比从头训练收敛快得多。实测使用yolov8s.pt预训练权重训练50个epoch的mAP就比从头训练120个epoch还高不少。不过YOLOv8也不是没有短板。它的anchor-free设计对极端小目标10像素以下依然乏力后面我会讲到用切片推理和SAHI来解决。对强反光水面YOLOv8的C2f结构对纹理特征比较敏感容易出现误检需要靠数据层面做文章。2. 数据集构建与标注规范2.1 数据来源与采集策略数据是这套方案的地基。1万张图的目标我明确为“真实覆盖海洋场景多样性”而不是追求“总张数多”。数据来源我分了三路公开数据集包括COCO中包含船的图像、SeaShips数据集、Maritime Vessel数据集这些可以直接拉下来转成YOLO格式。但SeaShips这类数据集类别定义和我们的需求有偏差比如它把船按货船、渔船、客船细分所以只取其中和task匹配的图像重新按我们的标签体系标注。现采数据在几个港口和近岸监控点位部署了采集脚本按不同时段白天、黄昏、夜间、不同天气晴朗、雾天、雨天、不同季节采集视频帧然后用抽帧策略每3秒抽1帧去除重复度过高的帧。这部分大概是6000张。增强补强对已有样本做离线增强比如亮度抖动模拟不同光照、水平翻转扩大视角、加模拟雨线/雾噪模拟恶劣天气。这里有个关键点不要过度增强离线增强和在线增强叠加可能导致模型过拟合噪声。我的控制原则是增强后样本不超过总数的40%。2.2 标注工具的选型与标注规范标注工具我用的LabelImg矩形框场景够用如果后面要扩展到分割任务可以换Labelme。整个标注过程拆成三步建标签配置在LabelImg的classes.txt里按顺序写入boat、person、maritime_mark。这个顺序很重要因为YOLO格式的标签文件里类别索引从0开始训练时和data.yaml中的class顺序必须严格一致。预标注人工修正先把COCO预训练模型在待标注图上跑一遍得到初框然后人工修正边界框。这种方式能把标注速度提高一倍以上。但注意预标注框有时会有偏差比如把船体和倒影都框进去人工修正时一定要按规范来。质量检查最关键的一步。我专门写了个脚本统计每张图的标签类别分布和边界框面积分布把异常图片比如框面积超过全图的80%、框明显出界、类别混淆筛出来人工复查。标注规范上几个容易引发问题的点遮挡严重的目标照常标注完整边界框包括被遮挡部分。理由是遮挡推断本身就是检测器需要学习的能力如果只标可见部分模型学到的边界框会偏小且不稳定。同一目标不要重复标注。比如船只被浮标部分遮挡时只标船不把浮标标进去。海上标志物如果太远小于10像素统一不标。避免大量无效小框拉低训练质量。2.3 数据增强策略针对海上场景的专门设计YOLOv8自带在线增强Mosaic、HSV扰动、随机透视、翻转等但对海上场景我额外做了几个针对性增强强反光模拟随机在海面区域叠加高光斑块。原图反光其实是很强的如果不加这种增强模型会把反光误检成船体。增强后的模型对这种干扰的鲁棒性提升非常明显。雾/霾叠加海上起雾太常见了。用一个随机透明度的高斯模糊层模拟雾天让模型学会在低对比度下检测目标。边界框抖动对小目标的边界框加轻微的随机平移和缩放噪声幅度不超过5%。这个技巧能显著提升小目标检测稳定性因为标注小目标时本身就有像素级别的误差。避免Mosaic过度使用YOLOv8默认Mosaic开启概率是1.0但海上目标通常背景复杂Mosaic拼接会裁掉大量上下文。我调整到0.5训练后期再降到0.2避免模型在拼接图上找到“捷径”。2.4 数据集目录结构与划分数据集按YOLO标准格式组织dataset/ ├── images/ │ ├── train/ # 约8200张 │ ├── val/ # 约1200张 │ └── test/ # 约600张 ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── data.yaml └── classes.txtdata.yaml内容很简单train: ./dataset/images/train val: ./dataset/images/val test: ./dataset/images/test nc: 3 names: [boat, person, maritime_mark]划分原则按“场景”而不是按“frame”划分。同一视频里的连续帧必须分到同一集合否则验证集会泄漏训练信息模型见过高度相似的帧验证指标虚高。我会按视频/采集时间分组后做随机抽样确保不同港口、不同时段的数据在不同集合中都有分布。类别样本数大概是这样boat大约18000个实例框person大约7000个实例框maritime_mark大约5000个实例框。虽然不算严格平衡但经过权重和采样策略调整后训练效果是够用的。3. YOLOv8网络结构要点与训练原理3.1 YOLOv8相比前代的核心变化YOLOv8在结构上不是一次颠覆式的更新但几个关键点对海上目标检测非常重要Anchor-free检测头。YOLOv5用的是anchor-based需要在训练前对数据集做K-means聚类得到合适的锚框。YOLOv8直接预测目标中心点到边界框四边的距离不对锚框做任何假设。这对尺度分布极不均匀的海洋场景是好事省去了对每个数据集重新聚类锚框的步骤而且小目标和大目标在同一个特征层上竞争更公平。C2f模块。YOLOv8用C2f替换了C3本质是把更多的梯度分流支路串起来让梯度流更丰富。实验观察来看C2f对精细纹理特征的提取更好。船体边缘线、浮标的反光边缘、行人的轮廓这些细节特征的保留变得更充分。解耦检测头Decoupled Head。分类和回归分支分离两个分支各用各的卷积输出。好处是分类任务和定位任务对特征的需求不完全一致在海上小目标上感受更明显——分类分支会忽略精确定位需要的边界信息回归分支也会忽略部分类别判别信息互不干扰后两个度量都得到提升。3.2 预训练权重和多尺度下采样预训练权重我推荐直接用yolov8s.pt或者yolov8m.pt。注意这里的预训练是COCO 80类权重和我们的3类任务类别层不匹配但Ultralytics框架会自动去掉分类头、保留backbone和neck的参数所以预训练权重主要帮助模型学到通用视觉特征边缘、纹理、形状对加速收敛很有帮助。网络结构上YOLOv8默认输入640×640经过5次下采样得到三个尺度的特征图80×80小目标、40×40中目标、20×20大目标。海上场景的问题在于一张1280×720的视频帧远处一艘船可能只占30×30像素下采样到80×80特征层时这个目标可能只剩一个像素点检测不到很正常。所以我训练时强烈建议把imgsz设为 1280 而不是默认的640。我实测下来的收益mAP0.5的船类从0.82升到0.88mAP0.5:0.95从0.51升到0.60。代价是显存占用暴涨训练时间几乎翻倍。如果你的显卡显存不够比如只有8GB可以在训练时用1280推理时先用640验证效果再决定是否切到1280。3.3 损失函数与训练技巧YOLOv8的损失函数主要由三部分组成分类损失BCEWithLogitsLoss用于类别判别。边界框回归损失CIoU loss DFLDistribution Focal Loss。DFL的作用是把边界框的偏移量建模成概率分布预测的不是单一偏移值而是连续值的离散概率分布。这个设计对边界框的精度提升明显船体边缘不完全贴合框的情况会减少。置信度损失在训练过程中正样本和负样本的分配比例对loss影响很大。YOLOv8用TaskAlignedAssigner做动态标签分配会综合分类得分和IOU来匹配正样本这让训练过程对小目标更友好。实操上两个技巧值得提Warmup训练前3个epoch用较低的初始学习率做warmup预热BN层的统计量。如果从头训练一个没有BN稳定的模型就开全速loss很容易飞到NaN。EMA指数移动平均Ultralytics默认开了EMA不需要手动设置。EMA的作用是对模型参数做滑窗平均训练出的模型在验证集上通常比直接用最后一步参数更稳。3.4 训练环境与参数选型我自己用的环境PyTorch 2.1.0 CUDA 11.8 Python 3.10Ultralytics 8.1.x 版本显卡训练用RTX 3090验证和推理在一张GTX 1660Ti上跑训练命令yolo detect train \ datadataset/data.yaml \ modelyolov8s.pt \ imgsz1280 \ batch16 \ epochs300 \ lr00.01 \ optimizerSGD \ weight_decay0.0005 \ warmup_epochs3 \ mosaic0.5 \ cacheTrue \ projectrun/sea \ nameexp1 \ seed42几个参数背后的逻辑batch16在3090上1280分辨率显存大概还剩一点余量不是越大越好。batch太大会导致BN统计不准确模型泛化能力下降。optimizerSGD很多新手上来就用AdamW但目标检测任务SGD略慢但最终mAP通常更高。AdamW收敛快但容易过拟合。weight_decay0.0005常规值。海上场景背景复杂更强的正则化能抑制过拟合。mosaic0.5前面提过海上目标背景重要Mosaic力度降一些。cacheTrue把图片预加载到内存里省去每轮从磁盘读图的时间。数据集10GB左右内存够大就用。如果你显存有限比如只有8GBimgsz降到960batch降到4-8配合梯度累积也可以训练只是收敛速度会慢一些。但实测在GTX 1660Ti上用960分辨率跑推理没问题训练还是建议用16GB以上显存的机器时间成本差距很大。4. 训练过程监控与权重使用4.1 训练过程中的关键指标判读训练日志里的指标很多我自己的侧重点是这样train/box_loss 和 train/cls_loss这两个loss在训练前期应快速下降中后期缓慢收敛。如果loss在50个epoch之后还在剧烈波动需要检查学习率是不是太大、数据里是不是有脏标签。val/box_loss验证loss一般在训练中后期会轻微上升或持平这是正常的不用慌。但如果验证loss持续上升同时mAP也在掉说明过拟合应该提前停或者增大正则化。metrics/precision 和 metrics/recall建议两者都看。海上场景如果recall低大概率是漏检远处小目标这时优先考虑增大输入分辨率而不是增加epoch。fitnessUltralytics算的综合指标mAP0.5:0.95的加权最直观。训练完成后查看run/sea/exp1/weights/目录best.pt验证集上fitness最高的权重推荐部署用这个。last.pt最后一个epoch的权重一般不用但继续训练时从它续跑最方便。4.2 如何评估三类目标的效果验证时不只看整体mAP我会按类别拆开看类别样本数mAP0.5mAP0.5:0.95备注boat180000.8850.612近大远小差异大中远距离表现好person70000.7620.438小目标漏检主要集中在这类maritime_mark50000.8310.526颜色特征强但形状变化大person类的mAP明显偏低原因不是模型不行而是数据问题。海上行人目标多数时候极小20像素以下且姿态变化极大站立、蹲坐、卧倒。针对这个问题我做过一次补充采集专门增加近岸行人样本和在船上人员的图像效果提升了一档。这说明如果某个类别mAP低优先分析该类别在数据集中实例框的平均面积面积过小就要在数据侧做文章不能指望模型自己“悟”出来。4.3 权重转换与部署方案训练完的best.pt可以在Python环境中直接推理但工程部署一般要转成ONNX或TensorRT。Ultralytics自带导出功能# 导出ONNX yolo export modelrun/sea/exp1/weights/best.pt formatonnx imgsz1280 # 导出TensorRT引擎 yolo export modelrun/sea/exp1/weights/best.pt formatengine imgsz1280 halfTruehalfTrue开启FP16显存占用减半、推理速度几乎翻倍。实测在Jetson Orin Nano上转FP16后1280分辨率能跑到25 FPS基本满足实时监控需求。导出后有个坑要提醒ONNX对输入尺寸是固定的因为imgsz固定如果你想在推理时动态调整分辨率导出时加dynamicTrue。但TensorRT对动态shape支持比ONNX差很多建议固定尺寸。4.4 推理代码实战用Ultralytics框架做推理很简单但有几个参数值得调from ultralytics import YOLO model YOLO(run/sea/exp1/weights/best.pt) results model.predict( sourcetest_video.mp4, conf0.25, # 置信度阈值 iou0.45, # NMS IoU阈值 imgsz1280, # 推理分辨率 halfTrue, # FP16推理 device0, # GPU classes[0, 1], # 如果不需要检测海事标志物可用类别过滤 streamTrue, # 视频流模式逐帧返回不占用大量内存 )conf和iou的取值建议单独在验证集上调优。我一般用grid searchconf从0.1到0.5、iou从0.3到0.7找F1最高的组合。海上场景误检率相对高conf设太高会漏掉小目标设太低会出现大量假阳性框需要用验证集实测找平衡点。5. 常见问题与排查技巧实录5.1 水面反光导致误检如何解决这是海上目标检测最典型的问题。现象是模型在阳光反射强烈的水面上把白色反光区域误检成船体置信度还很高。排查和解决路径加反光负样本在数据集里单独建一个“反光海面”负样本目录不含任何目标的原始海面反光图训练时通过background文件加入训练集。YOLOv8支持在训练集中放没有标签的图片可以显著降低误检率。离线反光增强前面提过对图中海面区域叠加高光斑块这比单纯调亮度更接近真实反光物理特性。降低推理conf如果误检置信度普遍在0.2-0.3而真实目标置信度在0.5以上适当提高conf阈值就能滤掉。实测经过反光增强后误检率从每帧平均1.8个降到0.2个效果非常明显。5.2 远距离小目标漏检严重这也是海上场景的重灾区。一艘船在画面里只有15×15像素用1280分辨率也经常检测不到。几个实操方案输入分辨率提到1536或更长边如果显存允许imgsz1536能缓解小目标问题但训练和推理时间都明显上升。Tiling/切片推理把大图切成多块小图分别推理再合并结果。工程上可以用SAHISlicing Aided Hyper Inference库它把切片推理、重叠区域去重、结果合并都封装好了。实测SAHI在1024分辨率下能把person类的mAP从0.44提到0.52。不要在最后几层丢失小目标特征YOLOv8已经加了P2层小目标head但Ultralytics默认推理配置文件里P2层是关闭的。如果你确定场景里小目标多可以修改模型配置启用P2层但会显著增加计算量需要自己权衡。5.3 训练中loss变成NaN在YOLOv8训练中遇到loss为NaN最常见的几个原因数据集标签有误。比如某个标签文件的类别索引超出类别总数、边界框坐标超出图像边界。写个脚本检查所有标签文件即可检查坐标是否在0-1范围内、类别是否在0到nc-1之间。初始学习率太大。尤其用AdamW时如果lr0开到0.1必炸。SGD相对稳但lr0超过0.05也容易遇到这种问题。图片文件损坏。一张损坏的图在数据加载时产生异常值也会导致loss异常。cacheTrue情况下会自检但普通加载模式不查。我的做法训练前先跑一次model.val()确认数据能正常加载再用epochs5小规模跑一遍确认loss正常下降再上完整训练。这个习惯帮我避免了好几次浪费半天时间在坏数据上的情况。5.4 类别不平衡问题数据集中maritime_mark只有5000个实例boat有18000个。如果不处理模型会倾向少报mark类别。处理方案过采样在训练加载器里对少数类样本加权Ultralytics不支持直接设class weight但可以复制少数类图片到训练集生成额外副本注意同一个图不要复制到验证集。损失加权自定义训练循环或修改损失函数给少样本类别更大的loss权重。调整起来比较麻烦但效果比过采样更稳。别过度下调conf类别不平衡时少样本类别的输出置信度天然偏低不要为了捞回mark类别把conf调太低否则boat类会大量误检。5.5 常见问题速查表现象原因解决方案反光误检海面反光特征与船体相似加负样本反光增强小目标漏检输入分辨率不足/特征层不匹配imgsz提到1280、切片推理某类mAP极低类别样本少或实例框太小补数据、过采样、loss加权loss为NaN标签错误/学习率过大/坏图检查标签、降lr0、坏图清理验证mAP高但实际效果差数据划分泄漏按视频分组划分训练/验证集边缘框偏大/偏小边界框标注不规范统一标注规则、质检脚本复查最后分享一点经验这个项目做完我最大的感受是模型结构和训练技巧只占三成功夫数据质量和场景理解占了七成。YOLOv8本身已经很成熟了只要不是乱调参数网络的性能下限不会太低真正决定上限的是你对“海上目标长什么样、在什么背景下出现、以什么尺度出现”这些问题的理解深度。建议你在自己的场景里做三件事第一花时间去标注数据不要完全依赖公开数据集你场景里的船只、浮标的外观可能和公开数据差得很远第二一定要做一次小规模试训确认数据和环境没问题再上大训练省时省力第三部署时按实际算力选分辨率不要在Jetson上硬上1536画面中目标大部分是中近景的话640完全够用。下一步如果你想继续提升可以在YOLOv8基础上换用更大模型v8m或v8l或者引入C2f的改进模块。但先别急着改网络结构把数据质量、增强策略、推理参数调优这三件事做好效果提升的幅度绝对比改一个模块名字大得多。本文还有配套的精品资源点击获取 基于YOLOv8的海洋目标检测：船只、行人、海上标志物识别实战
简介本资源面向计算机视觉方向的研究者与工程实践者聚焦海上复杂场景下的多目标检测任务提供基于YOLOv8的船只、行人及海上标志物牡蛎架、航标、浮标、礁石等识别完整训练方案。资源包含已划分好的10000高质量图像数据集目录结构规范含train/val/test三级子目录及配套data.yaml配置文件6类Oyster-rack、beacon、boat、buoy、people、reef标签为标准YOLO格式txt可直接用于YOLOv5/v7/v8/v9等系列模型训练。压缩包共2000个文件主体为1984个标注txt文件辅以13个说明文档md、2个PDF技术参考及1个核心yaml配置文件整体大小864.25MB。已有232人学习下载资源附有详细README指引与实测效果参考链接开箱即用显著降低海上视觉感知任务的数据准备与模型调优门槛。 我们做海洋视觉的同学应该都有同感陆地上的检测模型放到海边基本上一眼假。船只在海面上尺度跨度极大近处整艘船可能占据整个画面远处几公里外只有几十个像素海面反光、雾气、雨滴让背景极其复杂行人尺度小、姿态多样还经常和浮标、航标这类海上标志物混在一起。我最近正好完成了一套基于YOLOv8的船只-行人-海上标志物识别方案包含一份约1万张图像的三类目标数据集和一套可直接使用的训练权重这篇就把整个项目的落地过程完整拆一遍。这套权重和数据集适合谁如果你在做海事监控、港口安防、无人船避障、航道巡检、船舶流量统计或者准备在智能摄像头、Jetson嵌入式设备上跑水岸场景检测可以直接参考。我会把数据怎么来、标注怎么定、训练参数怎么选、损失函数曲线怎么判读、踩过的坑怎么避都讲清楚争取做到你拿过去就能复现出一套属于自己的水上识别模型。1. 整体设计思路与场景拆解1.1 为什么海洋场景比通用场景难做先说痛点。通用目标检测数据集COCO、VOC里最多的场景是人和车背景是街道、室内、草地纹理相对均匀。海上场景有几个明显差异直接影响模型设计和数据准备背景极不平稳海面有波浪纹理、镜面反光、云雾遮挡这些区域在视觉上和“道路-行人”的复杂度完全不是一个量级。模型很容易把反光区域误检成白色船体。目标尺度跨度大近处货轮几千像素远处的小渔船可能只有十几个像素属于严格意义上的小目标。YOLOv8默认的640分辨率下十几个像素的目标基本丢掉了特征。类别之间有语义重叠海上标志物浮标、航标、灯塔和船只在颜色、形状上有时很接近比如红色浮标和红色船体行人和船只如果距离太近边界框很容易互相覆盖。样本获取成本高公开数据集里水上目标数据相对少标注一艘船上千个像素是大工作量的活导致专门针对海洋场景的公开数据集少之又少。所以这个项目最核心的设计决策就是不止是“拿一个预训练模型过来微调”而是从头搭建一套面向海洋目标特点的数据集训练方案。1万张图不算极大但覆盖了不同天气、时段、视角配合增强策略能撑起一个可用的工程模型。1.2 三类目标的检测思路差异这个任务里三个类别——船只、行人、海上标志物——检测难度和优化方向完全不同训练时要把它们当成“三类任务”而不是一个任务的三个标签。船只boat/ship样本最多尺度变化大是最容易训练出高mAP的类别。关键点是边界框定义。我采用的是COCO风格框必须包住船体的吃水线以上部分包括船帆/上层建筑但不需要包含倒影。倒影这个点很多人忽略如果标了倒影模型会去学“一团白色边缘”对真实船体判断反而产生干扰。行人person海上场景的行人规模通常比陆地的行人检测小很多——甲板上的人、岸堤上的人、救生艇上的人。如果沿用COCO对person的定义会出现大量漏检因为海上行人目标普遍太小。我们的做法是把“行人”细化为“海上可见人形”同时增加近岸行人样本避免模型对远处小行人完全失敏。海上标志物maritime mark这是最容易被忽略但实际应用价值很高的一类。包括红色/绿色浮标、锥形航标、灯塔、灯船、防波堤标识等。这类目标颜色鲜艳但形状各异而且长期暴露在水面会褪色导致颜色特征不稳定。边界框统一定义为标志物的可见主体不包含基座和水下部分。这类目标样本数量本来就少所以我们在数据增强上花了很大功夫。1.3 为什么选YOLOv8而不是其他方案选择YOLOv8有几个实际考量速度快海洋监控往往是实时视频流YOLOv8s在GTX 1660Ti上640分辨率能跑到50 FPSTensorRT优化后1080Ti上能到100 FPS。对比Faster R-CNN、Cascade R-CNN这类两阶段模型速度优势非常明显。小目标能力比前代更好YOLOv8改成了anchor-free设计不再依赖手工锚框聚类对尺度变化大的目标自发适应能力更强。配合大分辨率输入小目标检测明显优于YOLOv5。训练生态成熟Ultralytics官方仓库开箱即用loss曲线、验证指标、模型导出ONNX/TensorRT/NCNN都很顺省去大量工程时间。权重复用便利基于COCO预训练权重做迁移学习比从头训练收敛快得多。实测使用yolov8s.pt预训练权重训练50个epoch的mAP就比从头训练120个epoch还高不少。不过YOLOv8也不是没有短板。它的anchor-free设计对极端小目标10像素以下依然乏力后面我会讲到用切片推理和SAHI来解决。对强反光水面YOLOv8的C2f结构对纹理特征比较敏感容易出现误检需要靠数据层面做文章。2. 数据集构建与标注规范2.1 数据来源与采集策略数据是这套方案的地基。1万张图的目标我明确为“真实覆盖海洋场景多样性”而不是追求“总张数多”。数据来源我分了三路公开数据集包括COCO中包含船的图像、SeaShips数据集、Maritime Vessel数据集这些可以直接拉下来转成YOLO格式。但SeaShips这类数据集类别定义和我们的需求有偏差比如它把船按货船、渔船、客船细分所以只取其中和task匹配的图像重新按我们的标签体系标注。现采数据在几个港口和近岸监控点位部署了采集脚本按不同时段白天、黄昏、夜间、不同天气晴朗、雾天、雨天、不同季节采集视频帧然后用抽帧策略每3秒抽1帧去除重复度过高的帧。这部分大概是6000张。增强补强对已有样本做离线增强比如亮度抖动模拟不同光照、水平翻转扩大视角、加模拟雨线/雾噪模拟恶劣天气。这里有个关键点不要过度增强离线增强和在线增强叠加可能导致模型过拟合噪声。我的控制原则是增强后样本不超过总数的40%。2.2 标注工具的选型与标注规范标注工具我用的LabelImg矩形框场景够用如果后面要扩展到分割任务可以换Labelme。整个标注过程拆成三步建标签配置在LabelImg的classes.txt里按顺序写入boat、person、maritime_mark。这个顺序很重要因为YOLO格式的标签文件里类别索引从0开始训练时和data.yaml中的class顺序必须严格一致。预标注人工修正先把COCO预训练模型在待标注图上跑一遍得到初框然后人工修正边界框。这种方式能把标注速度提高一倍以上。但注意预标注框有时会有偏差比如把船体和倒影都框进去人工修正时一定要按规范来。质量检查最关键的一步。我专门写了个脚本统计每张图的标签类别分布和边界框面积分布把异常图片比如框面积超过全图的80%、框明显出界、类别混淆筛出来人工复查。标注规范上几个容易引发问题的点遮挡严重的目标照常标注完整边界框包括被遮挡部分。理由是遮挡推断本身就是检测器需要学习的能力如果只标可见部分模型学到的边界框会偏小且不稳定。同一目标不要重复标注。比如船只被浮标部分遮挡时只标船不把浮标标进去。海上标志物如果太远小于10像素统一不标。避免大量无效小框拉低训练质量。2.3 数据增强策略针对海上场景的专门设计YOLOv8自带在线增强Mosaic、HSV扰动、随机透视、翻转等但对海上场景我额外做了几个针对性增强强反光模拟随机在海面区域叠加高光斑块。原图反光其实是很强的如果不加这种增强模型会把反光误检成船体。增强后的模型对这种干扰的鲁棒性提升非常明显。雾/霾叠加海上起雾太常见了。用一个随机透明度的高斯模糊层模拟雾天让模型学会在低对比度下检测目标。边界框抖动对小目标的边界框加轻微的随机平移和缩放噪声幅度不超过5%。这个技巧能显著提升小目标检测稳定性因为标注小目标时本身就有像素级别的误差。避免Mosaic过度使用YOLOv8默认Mosaic开启概率是1.0但海上目标通常背景复杂Mosaic拼接会裁掉大量上下文。我调整到0.5训练后期再降到0.2避免模型在拼接图上找到“捷径”。2.4 数据集目录结构与划分数据集按YOLO标准格式组织dataset/ ├── images/ │ ├── train/ # 约8200张 │ ├── val/ # 约1200张 │ └── test/ # 约600张 ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── data.yaml └── classes.txtdata.yaml内容很简单train: ./dataset/images/train val: ./dataset/images/val test: ./dataset/images/test nc: 3 names: [boat, person, maritime_mark]划分原则按“场景”而不是按“frame”划分。同一视频里的连续帧必须分到同一集合否则验证集会泄漏训练信息模型见过高度相似的帧验证指标虚高。我会按视频/采集时间分组后做随机抽样确保不同港口、不同时段的数据在不同集合中都有分布。类别样本数大概是这样boat大约18000个实例框person大约7000个实例框maritime_mark大约5000个实例框。虽然不算严格平衡但经过权重和采样策略调整后训练效果是够用的。3. YOLOv8网络结构要点与训练原理3.1 YOLOv8相比前代的核心变化YOLOv8在结构上不是一次颠覆式的更新但几个关键点对海上目标检测非常重要Anchor-free检测头。YOLOv5用的是anchor-based需要在训练前对数据集做K-means聚类得到合适的锚框。YOLOv8直接预测目标中心点到边界框四边的距离不对锚框做任何假设。这对尺度分布极不均匀的海洋场景是好事省去了对每个数据集重新聚类锚框的步骤而且小目标和大目标在同一个特征层上竞争更公平。C2f模块。YOLOv8用C2f替换了C3本质是把更多的梯度分流支路串起来让梯度流更丰富。实验观察来看C2f对精细纹理特征的提取更好。船体边缘线、浮标的反光边缘、行人的轮廓这些细节特征的保留变得更充分。解耦检测头Decoupled Head。分类和回归分支分离两个分支各用各的卷积输出。好处是分类任务和定位任务对特征的需求不完全一致在海上小目标上感受更明显——分类分支会忽略精确定位需要的边界信息回归分支也会忽略部分类别判别信息互不干扰后两个度量都得到提升。3.2 预训练权重和多尺度下采样预训练权重我推荐直接用yolov8s.pt或者yolov8m.pt。注意这里的预训练是COCO 80类权重和我们的3类任务类别层不匹配但Ultralytics框架会自动去掉分类头、保留backbone和neck的参数所以预训练权重主要帮助模型学到通用视觉特征边缘、纹理、形状对加速收敛很有帮助。网络结构上YOLOv8默认输入640×640经过5次下采样得到三个尺度的特征图80×80小目标、40×40中目标、20×20大目标。海上场景的问题在于一张1280×720的视频帧远处一艘船可能只占30×30像素下采样到80×80特征层时这个目标可能只剩一个像素点检测不到很正常。所以我训练时强烈建议把imgsz设为 1280 而不是默认的640。我实测下来的收益mAP0.5的船类从0.82升到0.88mAP0.5:0.95从0.51升到0.60。代价是显存占用暴涨训练时间几乎翻倍。如果你的显卡显存不够比如只有8GB可以在训练时用1280推理时先用640验证效果再决定是否切到1280。3.3 损失函数与训练技巧YOLOv8的损失函数主要由三部分组成分类损失BCEWithLogitsLoss用于类别判别。边界框回归损失CIoU loss DFLDistribution Focal Loss。DFL的作用是把边界框的偏移量建模成概率分布预测的不是单一偏移值而是连续值的离散概率分布。这个设计对边界框的精度提升明显船体边缘不完全贴合框的情况会减少。置信度损失在训练过程中正样本和负样本的分配比例对loss影响很大。YOLOv8用TaskAlignedAssigner做动态标签分配会综合分类得分和IOU来匹配正样本这让训练过程对小目标更友好。实操上两个技巧值得提Warmup训练前3个epoch用较低的初始学习率做warmup预热BN层的统计量。如果从头训练一个没有BN稳定的模型就开全速loss很容易飞到NaN。EMA指数移动平均Ultralytics默认开了EMA不需要手动设置。EMA的作用是对模型参数做滑窗平均训练出的模型在验证集上通常比直接用最后一步参数更稳。3.4 训练环境与参数选型我自己用的环境PyTorch 2.1.0 CUDA 11.8 Python 3.10Ultralytics 8.1.x 版本显卡训练用RTX 3090验证和推理在一张GTX 1660Ti上跑训练命令yolo detect train \ datadataset/data.yaml \ modelyolov8s.pt \ imgsz1280 \ batch16 \ epochs300 \ lr00.01 \ optimizerSGD \ weight_decay0.0005 \ warmup_epochs3 \ mosaic0.5 \ cacheTrue \ projectrun/sea \ nameexp1 \ seed42几个参数背后的逻辑batch16在3090上1280分辨率显存大概还剩一点余量不是越大越好。batch太大会导致BN统计不准确模型泛化能力下降。optimizerSGD很多新手上来就用AdamW但目标检测任务SGD略慢但最终mAP通常更高。AdamW收敛快但容易过拟合。weight_decay0.0005常规值。海上场景背景复杂更强的正则化能抑制过拟合。mosaic0.5前面提过海上目标背景重要Mosaic力度降一些。cacheTrue把图片预加载到内存里省去每轮从磁盘读图的时间。数据集10GB左右内存够大就用。如果你显存有限比如只有8GBimgsz降到960batch降到4-8配合梯度累积也可以训练只是收敛速度会慢一些。但实测在GTX 1660Ti上用960分辨率跑推理没问题训练还是建议用16GB以上显存的机器时间成本差距很大。4. 训练过程监控与权重使用4.1 训练过程中的关键指标判读训练日志里的指标很多我自己的侧重点是这样train/box_loss 和 train/cls_loss这两个loss在训练前期应快速下降中后期缓慢收敛。如果loss在50个epoch之后还在剧烈波动需要检查学习率是不是太大、数据里是不是有脏标签。val/box_loss验证loss一般在训练中后期会轻微上升或持平这是正常的不用慌。但如果验证loss持续上升同时mAP也在掉说明过拟合应该提前停或者增大正则化。metrics/precision 和 metrics/recall建议两者都看。海上场景如果recall低大概率是漏检远处小目标这时优先考虑增大输入分辨率而不是增加epoch。fitnessUltralytics算的综合指标mAP0.5:0.95的加权最直观。训练完成后查看run/sea/exp1/weights/目录best.pt验证集上fitness最高的权重推荐部署用这个。last.pt最后一个epoch的权重一般不用但继续训练时从它续跑最方便。4.2 如何评估三类目标的效果验证时不只看整体mAP我会按类别拆开看类别样本数mAP0.5mAP0.5:0.95备注boat180000.8850.612近大远小差异大中远距离表现好person70000.7620.438小目标漏检主要集中在这类maritime_mark50000.8310.526颜色特征强但形状变化大person类的mAP明显偏低原因不是模型不行而是数据问题。海上行人目标多数时候极小20像素以下且姿态变化极大站立、蹲坐、卧倒。针对这个问题我做过一次补充采集专门增加近岸行人样本和在船上人员的图像效果提升了一档。这说明如果某个类别mAP低优先分析该类别在数据集中实例框的平均面积面积过小就要在数据侧做文章不能指望模型自己“悟”出来。4.3 权重转换与部署方案训练完的best.pt可以在Python环境中直接推理但工程部署一般要转成ONNX或TensorRT。Ultralytics自带导出功能# 导出ONNX yolo export modelrun/sea/exp1/weights/best.pt formatonnx imgsz1280 # 导出TensorRT引擎 yolo export modelrun/sea/exp1/weights/best.pt formatengine imgsz1280 halfTruehalfTrue开启FP16显存占用减半、推理速度几乎翻倍。实测在Jetson Orin Nano上转FP16后1280分辨率能跑到25 FPS基本满足实时监控需求。导出后有个坑要提醒ONNX对输入尺寸是固定的因为imgsz固定如果你想在推理时动态调整分辨率导出时加dynamicTrue。但TensorRT对动态shape支持比ONNX差很多建议固定尺寸。4.4 推理代码实战用Ultralytics框架做推理很简单但有几个参数值得调from ultralytics import YOLO model YOLO(run/sea/exp1/weights/best.pt) results model.predict( sourcetest_video.mp4, conf0.25, # 置信度阈值 iou0.45, # NMS IoU阈值 imgsz1280, # 推理分辨率 halfTrue, # FP16推理 device0, # GPU classes[0, 1], # 如果不需要检测海事标志物可用类别过滤 streamTrue, # 视频流模式逐帧返回不占用大量内存 )conf和iou的取值建议单独在验证集上调优。我一般用grid searchconf从0.1到0.5、iou从0.3到0.7找F1最高的组合。海上场景误检率相对高conf设太高会漏掉小目标设太低会出现大量假阳性框需要用验证集实测找平衡点。5. 常见问题与排查技巧实录5.1 水面反光导致误检如何解决这是海上目标检测最典型的问题。现象是模型在阳光反射强烈的水面上把白色反光区域误检成船体置信度还很高。排查和解决路径加反光负样本在数据集里单独建一个“反光海面”负样本目录不含任何目标的原始海面反光图训练时通过background文件加入训练集。YOLOv8支持在训练集中放没有标签的图片可以显著降低误检率。离线反光增强前面提过对图中海面区域叠加高光斑块这比单纯调亮度更接近真实反光物理特性。降低推理conf如果误检置信度普遍在0.2-0.3而真实目标置信度在0.5以上适当提高conf阈值就能滤掉。实测经过反光增强后误检率从每帧平均1.8个降到0.2个效果非常明显。5.2 远距离小目标漏检严重这也是海上场景的重灾区。一艘船在画面里只有15×15像素用1280分辨率也经常检测不到。几个实操方案输入分辨率提到1536或更长边如果显存允许imgsz1536能缓解小目标问题但训练和推理时间都明显上升。Tiling/切片推理把大图切成多块小图分别推理再合并结果。工程上可以用SAHISlicing Aided Hyper Inference库它把切片推理、重叠区域去重、结果合并都封装好了。实测SAHI在1024分辨率下能把person类的mAP从0.44提到0.52。不要在最后几层丢失小目标特征YOLOv8已经加了P2层小目标head但Ultralytics默认推理配置文件里P2层是关闭的。如果你确定场景里小目标多可以修改模型配置启用P2层但会显著增加计算量需要自己权衡。5.3 训练中loss变成NaN在YOLOv8训练中遇到loss为NaN最常见的几个原因数据集标签有误。比如某个标签文件的类别索引超出类别总数、边界框坐标超出图像边界。写个脚本检查所有标签文件即可检查坐标是否在0-1范围内、类别是否在0到nc-1之间。初始学习率太大。尤其用AdamW时如果lr0开到0.1必炸。SGD相对稳但lr0超过0.05也容易遇到这种问题。图片文件损坏。一张损坏的图在数据加载时产生异常值也会导致loss异常。cacheTrue情况下会自检但普通加载模式不查。我的做法训练前先跑一次model.val()确认数据能正常加载再用epochs5小规模跑一遍确认loss正常下降再上完整训练。这个习惯帮我避免了好几次浪费半天时间在坏数据上的情况。5.4 类别不平衡问题数据集中maritime_mark只有5000个实例boat有18000个。如果不处理模型会倾向少报mark类别。处理方案过采样在训练加载器里对少数类样本加权Ultralytics不支持直接设class weight但可以复制少数类图片到训练集生成额外副本注意同一个图不要复制到验证集。损失加权自定义训练循环或修改损失函数给少样本类别更大的loss权重。调整起来比较麻烦但效果比过采样更稳。别过度下调conf类别不平衡时少样本类别的输出置信度天然偏低不要为了捞回mark类别把conf调太低否则boat类会大量误检。5.5 常见问题速查表现象原因解决方案反光误检海面反光特征与船体相似加负样本反光增强小目标漏检输入分辨率不足/特征层不匹配imgsz提到1280、切片推理某类mAP极低类别样本少或实例框太小补数据、过采样、loss加权loss为NaN标签错误/学习率过大/坏图检查标签、降lr0、坏图清理验证mAP高但实际效果差数据划分泄漏按视频分组划分训练/验证集边缘框偏大/偏小边界框标注不规范统一标注规则、质检脚本复查最后分享一点经验这个项目做完我最大的感受是模型结构和训练技巧只占三成功夫数据质量和场景理解占了七成。YOLOv8本身已经很成熟了只要不是乱调参数网络的性能下限不会太低真正决定上限的是你对“海上目标长什么样、在什么背景下出现、以什么尺度出现”这些问题的理解深度。建议你在自己的场景里做三件事第一花时间去标注数据不要完全依赖公开数据集你场景里的船只、浮标的外观可能和公开数据差得很远第二一定要做一次小规模试训确认数据和环境没问题再上大训练省时省力第三部署时按实际算力选分辨率不要在Jetson上硬上1536画面中目标大部分是中近景的话640完全够用。下一步如果你想继续提升可以在YOLOv8基础上换用更大模型v8m或v8l或者引入C2f的改进模块。但先别急着改网络结构把数据质量、增强策略、推理参数调优这三件事做好效果提升的幅度绝对比改一个模块名字大得多。本文还有配套的精品资源点击获取