简介语义分割是计算机视觉领域的基础任务旨在为图像每个像素赋予语义标签。在遥感影像分析中建筑屋顶的精细分割不仅是地物提取的关键更直接服务于城市精细化管理、灾害评估与光伏潜力分析等场景。然而高质量标注数据的稀缺往往成为模型落地的瓶颈。本文从工程实践出发围绕遥感建筑屋顶多类别语义分割数据集的构建全流程展开涵盖类别体系设计、标注与质检规范、滑窗切图策略、防止数据泄漏的划分方法、模型选型与类别不平衡处理等核心环节并总结了标签错位、边缘锯齿、材质混淆等常见问题的排查经验。内容兼顾基础原理与实战细节适合正在构建遥感数据集或训练语义分割模型的开发者参考。 做遥感项目这一年多我最大的感受就是出成果最慢的环节永远是数据不是模型。前阵子刚把一套建筑屋顶语义分割的数据集整理完6000张影像和对应的分割标签已经处理好、归类好拿过来就能直接送进模型训练。这个数据集支撑的是多类别语义分割——也就是把影像里每一栋建筑的屋顶按材质和形态拆开混凝土平顶、瓦片坡顶、彩钢屋顶、其他构筑物逐像素分类。老实讲这套数据做出来不容易。早期版本就是直接从公开影像上切块用标注软件一点点勾多边形标注完还要转格式、对类别、清脏数据、做质检每一步都在踩坑。所以今天这篇内容我不只聊这套数据集能干什么、怎么用更会把构建和使用过程中的关键细节写清楚包括标签格式怎么设计、切图步长怎么选、训练集划分怎么避免数据泄漏、模型选型和类别不平衡怎么处理。适合正在做遥感语义分割、打算自己构建数据集、或者拿到现成数据集但不知道从哪下手的同学。1. 遥感建筑屋顶语义分割它在解决什么真实问题1.1 屋顶分割不是“把建筑抠出来”那么简单很多人第一次接触“建筑屋顶分割”时会下意识觉得这跟“建筑足迹提取”是一回事。其实差别挺大。建筑足迹检测通常只要一个前景/背景二分类模型输出“这块是建筑、那块不是”拿到的是建筑物的外轮廓。而屋顶语义分割要同时回答两个问题一是位置问题哪里有建筑屋顶二是属性问题这个屋顶是什么材质、什么形态。这两个问题叠加起来才叫多类别语义分割。为什么属性这么重要因为不同业务对屋顶的定义完全不同。拿城市规划里的容积率测算来说真正关心的是基底面积和层高这时候混凝土平屋顶和瓦片坡屋顶在影像上呈现的投影面积差异会直接影响楼层估算。再比如违法建筑排查彩钢屋顶在很多区域往往是加建、临建的典型信号能先把彩钢屋顶单独分出来后续的人工核查范围能缩小一大半。还有屋顶光伏潜力评估混凝土平屋顶适合安装光伏板瓦片坡屋顶安装成本高彩钢屋顶则要看承重和年限。这些精细化业务需求单靠“建筑”一个类目是永远喂不饱的。所以“多类别”这三个字不是拍脑袋加上去的而是下游业务倒逼出来的需求。数据集在设计之初就按屋顶材质和形态拆分类别会让模型的适用范围宽很多。你用它训练出来的模型不仅解决了“哪里有建筑”的问题还能直接输出“这些屋顶分别是什么类型”的中间结果相当于一个模型干了两个活。1.2 多类别屋顶分割的业务价值把这个数据集放到真实业务场景里看价值会清晰很多。城市精细化管理屋顶材质是老旧建筑排查的重要参考混凝土平顶、瓦片坡顶、彩钢屋顶的使用寿命和维护周期不一样自动识别以后可以按优先级安排巡检。灾害损失评估极端天气过后房屋屋顶损毁情况可以从影像里快速提取尤其是跨区域大范围筛查模型先分割、人工再复核效率远远高于纯人工目视解译。“双碳”相关应用屋面光伏资源普查需要知道哪些屋顶是平顶、面积多大、朝向如何一个带材质分类的分割模型正好是这套评估流程的起点。在构建数据的过程中我也看过一些行业遥感分类技术规定里面对于地物类别定义、标注精度要求都有比较严格的口径。其实做标注的时候如果一开始没按行业规定来后面返工的代价特别大。所以我在这套数据上做的第一件事就是先定类别、再写标注规范最后才开工画图。2. 6000张数据集的构建链路从原始影像到可训练样本2.1 数据源选型分辨率、时相和光谱选择这6000张影像并不是从单一数据源切的。混合了不同区域、不同季节、不同传感器的影像这个操作对后续模型泛化能力的影响非常大。如果只用一个城市的影像训练模型换一个城区就很容易崩。空间分辨率单体和连片建筑屋顶分割我个人建议控制在0.3米到1米之间。分辨率太低比如10米的Sentinel-2单栋屋顶只有几个像素根本没得分割分辨率太高比如0.05米无人机影像屋顶细节是清楚但一张图覆盖范围太小标注成本和训练成本都上去了。时相选择春夏两季植被茂盛树木遮挡会把屋顶边缘“吃”掉冬季太阳高度角低阴影很长屋顶的一部分会被阴影盖住。数据集里尽量混入不同季节的影像让模型见过“被树挡住的屋顶”和“被阴影盖住的屋顶”训练完更皮实。光谱通道大多数业务场景只有RGB三通道这套数据也是基于RGB影像做的。如果你有近红外波段对绿化遮挡和阴影区域的恢复会有帮助但多光谱数据获取门槛高现实里绝大多数项目还是RGB打天下。2.2 类别体系设计多类别到底分哪几类这套数据的类别体系是我在跟多个业务方聊完后拍板的最终保留了五个类类别ID类别名称说明0背景道路、植被、水体、裸地等所有非屋顶区域1混凝土平屋顶城市里最常见的住宅、公建屋顶颜色偏灰白2瓦片坡屋顶民居、老旧小区、仿古建筑纹理有明显的瓦片排列感3彩钢屋顶厂房、仓库、临时建筑反光强颜色通常为蓝色、红色、灰色4其他建筑屋顶玻璃幕墙顶部、膜结构、金属屋面等难归类的情况类别数量卡在五类不是随便选的。太细的类别比如把瓦片再按颜色分成红瓦、青瓦、灰瓦会让标注一致性急剧下降两个标注员对同一片屋顶的判断很可能不一样最终变成模型怎么学都学不对的死结。类别太少又没意义只分“屋顶/非屋顶”的话所有下游业务还得再找人二次标注。五类是一个比较平衡的点涵盖了绝大多数建筑形态标注员在规范约束下能保持较高一致性模型训练时也不会因为类别太多而出现严重的样本不均衡。2.3 标注、质检和清洗一条不能省的流水线标注工具用的是QGIS配合LabelMe一个免费一个开源够用。QGIS负责在遥感影像上开底图、切范围LabelMe负责勾屋顶多边形。整套流水线分四步多边形标注一个屋顶画一个闭合多边形边缘要贴合影像中的屋顶边界锯齿比较大的地方需要放大到1:1仔细描。转栅格掩膜把矢量多边形转成和影像分辨率一致的栅格mask这一步要特别注意坐标系和像元对齐否则会出现“图是对的mask偏了半个像元”的隐蔽问题。交叉质检每批标注随机抽20%进行二次标注算两次标注的IoU。屋顶边缘的平均IoU低于0.85就要退回修改。纯新手标出来的东西经常卡在0.7附近熟练后能稳定在0.9以上。清洗筛选把完全没有建筑物目标的纯背景图筛掉把某类样本过少的图做补标或删除最后保留6000张分布相对均衡的影像。“已处理完可以直接训练”这句话的分量主要就在质检和清洗这两个环节。市面上很多公开数据集下载下来标签文件里缺一张、空标注没清理、类别ID跟文档对不上这些问题会消耗大量时间。这套数据在交付前已经把上述坑都填平了拿到手就是干净的。3. 标签格式、切图与预处理细节3.1 多类别标签格式怎么选数据集的标签格式直接决定了后面接什么训练框架。常见的选择有三种格式类型存储方式适用场景缺点Cityscapes格式单通道PNG像素值类别ID配palette调色板大多数语义分割框架原生支持直接看图是黑的需要调色板才能可视化VOC格式24位PNGRGB颜色对应类别索引可视化直观Pascal VOC生态训练时要转索引容易把颜色映射搞错COCO-RLE游程编码压缩存储实例分割、目标检测语义分割任务里读取不够直接这套数据用的是Cityscapes风格的单通道PNG加palette像素值直接就是类别ID。为什么这么选因为训练时像素值就是监督信号单通道mask在代码里读出来就能直接用不需要每次做RGB到索引的映射。很多新手在VOC格式上栽过跟头——标签看起来是一张彩色图入库前忘了把RGB索引映射成类别ID训练时等于拿一组随机数字当标签loss怎么也不降。一个很容易被误判的地方把单通道PNG直接拖进图片查看器整张图几乎是黑的这是正常的不代表数据坏了。可视化的时候要么用palette着色要么把背景类换成黑色再叠加在影像上看。我一般用后者快速抽查标签贴合度。3.2 切块策略滑窗大小、步长和重叠度遥感影像通常都是几千乘几千像素的大图不可能整张塞进模型必须切块。切块策略看似简单实际影响模型能不能学到屋顶的上下文。训练时切块我建议用512×512或1024×1024。512×512显存压力小可以开更大的batch但单块影像覆盖的上下文小遇到大面积厂房的时候容易“只见树木不见森林”1024×1024上下文更完整对屋顶结构感知更好但对显存要求高batch size会被压到4甚至2。我自己在这套数据上主要用1024×1024backbone用ResNet-101时单卡训练勉强能跑省心很多。切图步长上训练时用256或者512的步长做滑窗相当于制造了重叠样本既能做数据增强又不会破坏屋顶边界。但要注意步长太小会让同一栋建筑屋顶在大量切块中出现训练集和验证集之间如果没做好隔离模型相当于见过答案再考试验证指标会虚高。推理时建议采用“overlap-tile”策略窗口按步长滑动重叠区域的多张预测结果做投票或取平均能明显减轻边缘切割带来的预测断裂问题。打个比方一张屋顶被切成四块分别预测边界处的像素因为上下文缺失很可能被错分但重叠拼接后这些像素有多次预测结果投票以后错误率会降下来。3.3 数据集划分与数据增强的注意事项划分数据集是最容易被忽略、但后果最严重的一步。6000张影像如果是在原始大图上滑窗切出来的那么相邻切块之间可能有大量地理重叠简单随机划分会导致同一栋建筑同时出现在训练集和验证集里最终验证集mIoU虚高模型换到新区域就露馅。正确做法是先在原始影像层面划分区域再按区域切块。比如把整个数据集按来源城市或图幅分成三份一份训练、一份验证、一份测试确保验证集和测试集里出现的建筑在训练集里没有“见过面”。数据增强方面针对建筑屋顶这个任务我的经验是旋转和翻转建议90度、180度、270度加水平垂直翻转。任意角度的旋转虽然也能用但遥感影像里的屋顶布局还是跟城市路网方向强相关任意旋转可能引入不符合真实分布的样本。色彩抖动亮度、对比度、饱和度的随机扰动很有效因为不同批次影像的色调差异很大增强后模型对光照变化更鲁棒。慎用弹性形变屋顶是刚性结构边缘是直线弹性形变会把屋顶边界弄弯模型学到的是变形后的错误几何特征个人不建议在屋顶分割任务里用。归一化我直接按数据集自身统计的mean和std来做没有沿用ImageNet的统计量。因为遥感影像的像素分布跟自然影像差异很大用ImageNet均值归一化后很多模型的初始表现反而更差。4. 模型选型与训练配置参考4.1 语义分割模型怎么选6000张数据这个规模说大不大、说小不小足够训练一个中规模分割模型但也没到能随便堆超大模型的程度。我实际对比下来有三个方向值得考虑U-Net结构简单数据量少的时候训练很稳是这个任务的保底方案。如果用U-Net作为baselineEncoder建议用ResNet-34或EfficientNet-B4效果会明显好于从头训练。DeepLabV3空洞卷积在保持分辨率的同时扩大了感受野对屋顶这种边缘清晰、内部纹理单一的目标表现不错。在6000张数据下ResNet-50的DeepLabV3就能达到比较理想的mIoUResNet-101的提升相对有限。SegFormerTransformer类模型金字塔结构对多尺度目标友好在大尺度遥感影像上优势明显。不过它对训练技巧要求更高学习率、warmup、数据增强不配合的话反而不容易收敛。代码实现我推荐直接使用segmentation-models-pytorch这个库它对U-Net、DeepLabV3、SegFormer都有封装换backbone只需要改一行参数省去了自己写网络的大量时间。它的地址在GitHub上很好搜安装也简单pip装完就能用。还要提一下SAM大模型。我试过用SAM做辅助标注效果确实惊艳但不要指望SAM直接输出可用的屋顶分割结果。SAM能很准确地给出“这块区域是独立目标”的mask但它的输出是通用目标不区分“屋顶”和“屋顶上的天窗、设备间”。更合理的流程是SAM先自动生成候选mask人工再快速筛选和修正把标注效率提高两三倍。训练阶段还是用传统分割模型更可控。4.2 损失函数与类别不平衡处理屋顶分割最典型的问题是类别不平衡背景像素占比可能高达70%以上混凝土平屋顶可能只占10%彩钢屋顶这种小众类别可能只有3%。如果直接用交叉熵损失模型学出来会把所有像素都预测成背景因为这样loss已经很低了。我的处理方式是用组合损失loss 0.5 * CrossEntropyLoss(weightclass_weight) 0.5 * DiceLoss()交叉熵部分给少数类更高的权重DiceLoss直接优化像素级别的重叠度对前景占比小的情况非常友好。另外如果发现某些类别特别难分可以试试Focal Loss它的调制系数让模型更关注难分类样本但α和γ两个超参需要多跑几组实验调。还有一个更进阶的选择是Lovász-Softmax它直接对IoU做代理优化收敛后mIoU指标通常比CEDice高一两个点但训练速度会慢一些。类别权重的计算公式我按每个类的像素频率反比算class_weight[c] total_pixels / (len(classes) * pixel_count[c])需要注意的是class_weight过大容易让少数类被过度放大训练初期loss剧烈震荡所以实际使用时我会把权重clip在0.5到5的范围内。4.3 训练超参与资源占用经验挂一个我在这套数据上实际跑过的配置供参考配置项数值输入尺寸1024×1024batch size8单卡A100优化器AdamW初始学习率1e-4学习率策略polypower0.9warmup5% steps冻结backbone前10个epoch冻结之后全参微调训练轮数60 epochs数据增强随机旋转90°、翻转、色彩抖动显存方面一个很现实的对比batch size 8、1024×1024、ResNet-101的DeepLabV3全参微调大概要22GB显存如果冻结backbone显存消耗大概能省30%左右但精度会有一定损失。如果显存只够跑batch size 2我建议要么把输入降到768×768要么换SegFormer-B2不要硬撑大分辨率否则BN层统计不稳定模型很难收敛。一个容易被忽略的点是学习率。从预训练权重开始微调1e-4是个安全值从零训练的话学习率可以适当提到5e-4但要注意防止发散。warmup非常推荐加上Transformer类的模型对warmup尤其敏感少了前面几次迭代loss容易飞。4.4 推理后处理与矢量化输出训练完模型只是第一步。落地到业务里分割图通常要转成矢量的房屋屋顶面才能进GIS系统。我的做法是推理时保留概率图不直接取argmax对背景类概率加一个0.55到0.6的阈值减少小目标的误检。对单类别的预测mask做连通域分析把像素数量小于阈值的孤立噪点删除。比如小于200像素的连通域多半是误检的施工围挡或者屋顶设备。边界平滑。直接用GDAL的Polygonize转矢量边界会呈现明显的锯齿可以用Douglas-Peucker算法做线简化容差设成0.5到1个像素既保留真实转折又能去掉锯齿。输出GeoJSON或Shapefile叠加到影像上供人工复核。这一步很多人会忽略但它直接决定了业务方愿不愿意用你的模型结果。模型mIoU再高如果矢量面边缘像狗啃业务方照样不敢用。5. 常见问题排查与避坑实录5.1 标签错位和数据泄漏最隐蔽的问题莫过于标签和影像错位。有一次训练loss怎么都降不下去验证集mIoU停留在0.5附近上不去。排查了半天发现是切块脚本里图像列表和mask列表的排序方式不一致导致模型拿A图的影像配B图的标签训练。这种错位不会报错模型只能靠记忆强行拟合最终指标上不去。检查方法很简单随机抽10组样本把影像和mask按相同透明度叠加在一起显示肉眼扫一遍边界是否对齐。模型训练前这一步一定不能省。另一个高发问题是数据泄漏。我已经强调过划分数据集一定要按图幅或区域划分而不是按切块随机打乱。尤其是滑窗步长小于窗口边长时相邻切块的场景重合度极高随机划分的话训练集里出现的屋顶几乎必然在验证集里也出现测出来的指标没有参考价值。5.2 屋顶边缘细碎、锯齿明显模型输出的屋顶边缘经常出现“碎成一片”的情况尤其在高分辨率影像上屋顶边缘的杂物、防水层痕迹、小阴影都会被模型当成不同类别。连片建筑密集的区域更是灾难两栋紧挨着的屋顶模型经常把边界画得歪歪扭扭。三招组合解决训练阶段使用边界加权损失。先对标签做Canny边缘提取在边缘附近像素给更高的loss权重让模型更关注边界准确度。推理阶段做条件随机场CRF后处理。CRF能利用像素间的颜色相似性把边缘“拉齐”虽然会增加推理时间但对最终矢量效果提升明显。矢量化之后再做一次拓扑修复把小于一个屋顶面积阈值、形状特别狭长的碎面合并或删除。这几个操作一步步加下来屋顶边界的可读性会有质的提升。5.3 材质类别互相混淆多类别分割最常见的问题是类别混淆。这套数据里我踩过最深的坑是彩钢屋顶和被阴影遮挡的普通屋顶、以及蓝色塑料棚之间的混淆。彩钢屋顶在阳光照射下反光强烈颜色呈现高亮蓝色而阴影里的混凝土屋顶因为光照不足颜色偏冷偏暗模型经常把这两个完全不同的类别搞混。解决办法不是加大彩钢屋顶的样本量这么简单而是要分析混淆发生在哪个特征层面。颜色特征被光照干扰那就需要数据增强中加入光照扰动让模型不再过度依赖绝对颜色。在标注规范里明确阴影区域的处理方式阴影盖住的屋顶统一按真实屋顶类别标注不要标成背景或阴影类否则模型会学到错误的对应关系。如果有多光谱数据近红外波段能明显区分植被和彩钢屋顶能大大降低植被覆盖边缘的误判。5.4 训练集和验证集的“虚假繁荣”还有一个很常见的现象训练集mIoU到了0.92验证集mIoU也有0.88看着一切完美结果把模型放到另一个城市、不同传感器来源的影像上测试mIoU直接掉到0.6以下。这不是过拟合而是泛化能力不足。数据分布训练集里太单一了同一个城市、同一种分辨率、同一个航拍季节。我在构建这套数据时特意混合了多个区域来源并且测试集里包含了一部分与训练集完全不同的地理区域。6000张看起来不少但如果全部来自同一个地方模型学到的其实是“这个城市的屋顶长什么样”而不是“屋顶长什么样”。所以使用的时候建议第一件事是先确认训练集和测试集是否在区域上隔离以及是否覆盖了多种建筑风格再决定要不要直接开训。6. 一点个人体会与后续扩展整理完这套数据后我最大的体会其实是一个能用、耐用的语义分割数据集价值不亚于一个好模型。数据集的类别定义、质量控制和划分方式几乎决定了模型上线后的天花板。当时为了改类别体系前前后后返工了两轮每次都是标注量一大、改了就得全部重新质检那种感受谁做谁知道。如果你要自己建数据集建议先做小范围试标100张把类别边界和标注规范里所有模糊地带都暴露出来再放大规模标注。这个成本最低的经验我希望你早点知道。后续这套数据可以扩展的方向也不少。一个是把SAM大模型纳入迭代流程新到的影像先用SAM生成初步mask人工修正后再训练模型效果会越滚越好。另一个是往变化检测方向走用不同年份的同一区域影像训练屋顶新增、拆除、材质更换的检测模型。还有就是直接接业务比如用分割结果估算屋顶光伏可安装面积、辅助违建排查的初筛工作流。数据底子打好了这些方向都能很快落地。本文还有配套的精品资源点击获取 遥感建筑屋顶多类别语义分割：数据集构建与训练避坑指南
简介语义分割是计算机视觉领域的基础任务旨在为图像每个像素赋予语义标签。在遥感影像分析中建筑屋顶的精细分割不仅是地物提取的关键更直接服务于城市精细化管理、灾害评估与光伏潜力分析等场景。然而高质量标注数据的稀缺往往成为模型落地的瓶颈。本文从工程实践出发围绕遥感建筑屋顶多类别语义分割数据集的构建全流程展开涵盖类别体系设计、标注与质检规范、滑窗切图策略、防止数据泄漏的划分方法、模型选型与类别不平衡处理等核心环节并总结了标签错位、边缘锯齿、材质混淆等常见问题的排查经验。内容兼顾基础原理与实战细节适合正在构建遥感数据集或训练语义分割模型的开发者参考。 做遥感项目这一年多我最大的感受就是出成果最慢的环节永远是数据不是模型。前阵子刚把一套建筑屋顶语义分割的数据集整理完6000张影像和对应的分割标签已经处理好、归类好拿过来就能直接送进模型训练。这个数据集支撑的是多类别语义分割——也就是把影像里每一栋建筑的屋顶按材质和形态拆开混凝土平顶、瓦片坡顶、彩钢屋顶、其他构筑物逐像素分类。老实讲这套数据做出来不容易。早期版本就是直接从公开影像上切块用标注软件一点点勾多边形标注完还要转格式、对类别、清脏数据、做质检每一步都在踩坑。所以今天这篇内容我不只聊这套数据集能干什么、怎么用更会把构建和使用过程中的关键细节写清楚包括标签格式怎么设计、切图步长怎么选、训练集划分怎么避免数据泄漏、模型选型和类别不平衡怎么处理。适合正在做遥感语义分割、打算自己构建数据集、或者拿到现成数据集但不知道从哪下手的同学。1. 遥感建筑屋顶语义分割它在解决什么真实问题1.1 屋顶分割不是“把建筑抠出来”那么简单很多人第一次接触“建筑屋顶分割”时会下意识觉得这跟“建筑足迹提取”是一回事。其实差别挺大。建筑足迹检测通常只要一个前景/背景二分类模型输出“这块是建筑、那块不是”拿到的是建筑物的外轮廓。而屋顶语义分割要同时回答两个问题一是位置问题哪里有建筑屋顶二是属性问题这个屋顶是什么材质、什么形态。这两个问题叠加起来才叫多类别语义分割。为什么属性这么重要因为不同业务对屋顶的定义完全不同。拿城市规划里的容积率测算来说真正关心的是基底面积和层高这时候混凝土平屋顶和瓦片坡屋顶在影像上呈现的投影面积差异会直接影响楼层估算。再比如违法建筑排查彩钢屋顶在很多区域往往是加建、临建的典型信号能先把彩钢屋顶单独分出来后续的人工核查范围能缩小一大半。还有屋顶光伏潜力评估混凝土平屋顶适合安装光伏板瓦片坡屋顶安装成本高彩钢屋顶则要看承重和年限。这些精细化业务需求单靠“建筑”一个类目是永远喂不饱的。所以“多类别”这三个字不是拍脑袋加上去的而是下游业务倒逼出来的需求。数据集在设计之初就按屋顶材质和形态拆分类别会让模型的适用范围宽很多。你用它训练出来的模型不仅解决了“哪里有建筑”的问题还能直接输出“这些屋顶分别是什么类型”的中间结果相当于一个模型干了两个活。1.2 多类别屋顶分割的业务价值把这个数据集放到真实业务场景里看价值会清晰很多。城市精细化管理屋顶材质是老旧建筑排查的重要参考混凝土平顶、瓦片坡顶、彩钢屋顶的使用寿命和维护周期不一样自动识别以后可以按优先级安排巡检。灾害损失评估极端天气过后房屋屋顶损毁情况可以从影像里快速提取尤其是跨区域大范围筛查模型先分割、人工再复核效率远远高于纯人工目视解译。“双碳”相关应用屋面光伏资源普查需要知道哪些屋顶是平顶、面积多大、朝向如何一个带材质分类的分割模型正好是这套评估流程的起点。在构建数据的过程中我也看过一些行业遥感分类技术规定里面对于地物类别定义、标注精度要求都有比较严格的口径。其实做标注的时候如果一开始没按行业规定来后面返工的代价特别大。所以我在这套数据上做的第一件事就是先定类别、再写标注规范最后才开工画图。2. 6000张数据集的构建链路从原始影像到可训练样本2.1 数据源选型分辨率、时相和光谱选择这6000张影像并不是从单一数据源切的。混合了不同区域、不同季节、不同传感器的影像这个操作对后续模型泛化能力的影响非常大。如果只用一个城市的影像训练模型换一个城区就很容易崩。空间分辨率单体和连片建筑屋顶分割我个人建议控制在0.3米到1米之间。分辨率太低比如10米的Sentinel-2单栋屋顶只有几个像素根本没得分割分辨率太高比如0.05米无人机影像屋顶细节是清楚但一张图覆盖范围太小标注成本和训练成本都上去了。时相选择春夏两季植被茂盛树木遮挡会把屋顶边缘“吃”掉冬季太阳高度角低阴影很长屋顶的一部分会被阴影盖住。数据集里尽量混入不同季节的影像让模型见过“被树挡住的屋顶”和“被阴影盖住的屋顶”训练完更皮实。光谱通道大多数业务场景只有RGB三通道这套数据也是基于RGB影像做的。如果你有近红外波段对绿化遮挡和阴影区域的恢复会有帮助但多光谱数据获取门槛高现实里绝大多数项目还是RGB打天下。2.2 类别体系设计多类别到底分哪几类这套数据的类别体系是我在跟多个业务方聊完后拍板的最终保留了五个类类别ID类别名称说明0背景道路、植被、水体、裸地等所有非屋顶区域1混凝土平屋顶城市里最常见的住宅、公建屋顶颜色偏灰白2瓦片坡屋顶民居、老旧小区、仿古建筑纹理有明显的瓦片排列感3彩钢屋顶厂房、仓库、临时建筑反光强颜色通常为蓝色、红色、灰色4其他建筑屋顶玻璃幕墙顶部、膜结构、金属屋面等难归类的情况类别数量卡在五类不是随便选的。太细的类别比如把瓦片再按颜色分成红瓦、青瓦、灰瓦会让标注一致性急剧下降两个标注员对同一片屋顶的判断很可能不一样最终变成模型怎么学都学不对的死结。类别太少又没意义只分“屋顶/非屋顶”的话所有下游业务还得再找人二次标注。五类是一个比较平衡的点涵盖了绝大多数建筑形态标注员在规范约束下能保持较高一致性模型训练时也不会因为类别太多而出现严重的样本不均衡。2.3 标注、质检和清洗一条不能省的流水线标注工具用的是QGIS配合LabelMe一个免费一个开源够用。QGIS负责在遥感影像上开底图、切范围LabelMe负责勾屋顶多边形。整套流水线分四步多边形标注一个屋顶画一个闭合多边形边缘要贴合影像中的屋顶边界锯齿比较大的地方需要放大到1:1仔细描。转栅格掩膜把矢量多边形转成和影像分辨率一致的栅格mask这一步要特别注意坐标系和像元对齐否则会出现“图是对的mask偏了半个像元”的隐蔽问题。交叉质检每批标注随机抽20%进行二次标注算两次标注的IoU。屋顶边缘的平均IoU低于0.85就要退回修改。纯新手标出来的东西经常卡在0.7附近熟练后能稳定在0.9以上。清洗筛选把完全没有建筑物目标的纯背景图筛掉把某类样本过少的图做补标或删除最后保留6000张分布相对均衡的影像。“已处理完可以直接训练”这句话的分量主要就在质检和清洗这两个环节。市面上很多公开数据集下载下来标签文件里缺一张、空标注没清理、类别ID跟文档对不上这些问题会消耗大量时间。这套数据在交付前已经把上述坑都填平了拿到手就是干净的。3. 标签格式、切图与预处理细节3.1 多类别标签格式怎么选数据集的标签格式直接决定了后面接什么训练框架。常见的选择有三种格式类型存储方式适用场景缺点Cityscapes格式单通道PNG像素值类别ID配palette调色板大多数语义分割框架原生支持直接看图是黑的需要调色板才能可视化VOC格式24位PNGRGB颜色对应类别索引可视化直观Pascal VOC生态训练时要转索引容易把颜色映射搞错COCO-RLE游程编码压缩存储实例分割、目标检测语义分割任务里读取不够直接这套数据用的是Cityscapes风格的单通道PNG加palette像素值直接就是类别ID。为什么这么选因为训练时像素值就是监督信号单通道mask在代码里读出来就能直接用不需要每次做RGB到索引的映射。很多新手在VOC格式上栽过跟头——标签看起来是一张彩色图入库前忘了把RGB索引映射成类别ID训练时等于拿一组随机数字当标签loss怎么也不降。一个很容易被误判的地方把单通道PNG直接拖进图片查看器整张图几乎是黑的这是正常的不代表数据坏了。可视化的时候要么用palette着色要么把背景类换成黑色再叠加在影像上看。我一般用后者快速抽查标签贴合度。3.2 切块策略滑窗大小、步长和重叠度遥感影像通常都是几千乘几千像素的大图不可能整张塞进模型必须切块。切块策略看似简单实际影响模型能不能学到屋顶的上下文。训练时切块我建议用512×512或1024×1024。512×512显存压力小可以开更大的batch但单块影像覆盖的上下文小遇到大面积厂房的时候容易“只见树木不见森林”1024×1024上下文更完整对屋顶结构感知更好但对显存要求高batch size会被压到4甚至2。我自己在这套数据上主要用1024×1024backbone用ResNet-101时单卡训练勉强能跑省心很多。切图步长上训练时用256或者512的步长做滑窗相当于制造了重叠样本既能做数据增强又不会破坏屋顶边界。但要注意步长太小会让同一栋建筑屋顶在大量切块中出现训练集和验证集之间如果没做好隔离模型相当于见过答案再考试验证指标会虚高。推理时建议采用“overlap-tile”策略窗口按步长滑动重叠区域的多张预测结果做投票或取平均能明显减轻边缘切割带来的预测断裂问题。打个比方一张屋顶被切成四块分别预测边界处的像素因为上下文缺失很可能被错分但重叠拼接后这些像素有多次预测结果投票以后错误率会降下来。3.3 数据集划分与数据增强的注意事项划分数据集是最容易被忽略、但后果最严重的一步。6000张影像如果是在原始大图上滑窗切出来的那么相邻切块之间可能有大量地理重叠简单随机划分会导致同一栋建筑同时出现在训练集和验证集里最终验证集mIoU虚高模型换到新区域就露馅。正确做法是先在原始影像层面划分区域再按区域切块。比如把整个数据集按来源城市或图幅分成三份一份训练、一份验证、一份测试确保验证集和测试集里出现的建筑在训练集里没有“见过面”。数据增强方面针对建筑屋顶这个任务我的经验是旋转和翻转建议90度、180度、270度加水平垂直翻转。任意角度的旋转虽然也能用但遥感影像里的屋顶布局还是跟城市路网方向强相关任意旋转可能引入不符合真实分布的样本。色彩抖动亮度、对比度、饱和度的随机扰动很有效因为不同批次影像的色调差异很大增强后模型对光照变化更鲁棒。慎用弹性形变屋顶是刚性结构边缘是直线弹性形变会把屋顶边界弄弯模型学到的是变形后的错误几何特征个人不建议在屋顶分割任务里用。归一化我直接按数据集自身统计的mean和std来做没有沿用ImageNet的统计量。因为遥感影像的像素分布跟自然影像差异很大用ImageNet均值归一化后很多模型的初始表现反而更差。4. 模型选型与训练配置参考4.1 语义分割模型怎么选6000张数据这个规模说大不大、说小不小足够训练一个中规模分割模型但也没到能随便堆超大模型的程度。我实际对比下来有三个方向值得考虑U-Net结构简单数据量少的时候训练很稳是这个任务的保底方案。如果用U-Net作为baselineEncoder建议用ResNet-34或EfficientNet-B4效果会明显好于从头训练。DeepLabV3空洞卷积在保持分辨率的同时扩大了感受野对屋顶这种边缘清晰、内部纹理单一的目标表现不错。在6000张数据下ResNet-50的DeepLabV3就能达到比较理想的mIoUResNet-101的提升相对有限。SegFormerTransformer类模型金字塔结构对多尺度目标友好在大尺度遥感影像上优势明显。不过它对训练技巧要求更高学习率、warmup、数据增强不配合的话反而不容易收敛。代码实现我推荐直接使用segmentation-models-pytorch这个库它对U-Net、DeepLabV3、SegFormer都有封装换backbone只需要改一行参数省去了自己写网络的大量时间。它的地址在GitHub上很好搜安装也简单pip装完就能用。还要提一下SAM大模型。我试过用SAM做辅助标注效果确实惊艳但不要指望SAM直接输出可用的屋顶分割结果。SAM能很准确地给出“这块区域是独立目标”的mask但它的输出是通用目标不区分“屋顶”和“屋顶上的天窗、设备间”。更合理的流程是SAM先自动生成候选mask人工再快速筛选和修正把标注效率提高两三倍。训练阶段还是用传统分割模型更可控。4.2 损失函数与类别不平衡处理屋顶分割最典型的问题是类别不平衡背景像素占比可能高达70%以上混凝土平屋顶可能只占10%彩钢屋顶这种小众类别可能只有3%。如果直接用交叉熵损失模型学出来会把所有像素都预测成背景因为这样loss已经很低了。我的处理方式是用组合损失loss 0.5 * CrossEntropyLoss(weightclass_weight) 0.5 * DiceLoss()交叉熵部分给少数类更高的权重DiceLoss直接优化像素级别的重叠度对前景占比小的情况非常友好。另外如果发现某些类别特别难分可以试试Focal Loss它的调制系数让模型更关注难分类样本但α和γ两个超参需要多跑几组实验调。还有一个更进阶的选择是Lovász-Softmax它直接对IoU做代理优化收敛后mIoU指标通常比CEDice高一两个点但训练速度会慢一些。类别权重的计算公式我按每个类的像素频率反比算class_weight[c] total_pixels / (len(classes) * pixel_count[c])需要注意的是class_weight过大容易让少数类被过度放大训练初期loss剧烈震荡所以实际使用时我会把权重clip在0.5到5的范围内。4.3 训练超参与资源占用经验挂一个我在这套数据上实际跑过的配置供参考配置项数值输入尺寸1024×1024batch size8单卡A100优化器AdamW初始学习率1e-4学习率策略polypower0.9warmup5% steps冻结backbone前10个epoch冻结之后全参微调训练轮数60 epochs数据增强随机旋转90°、翻转、色彩抖动显存方面一个很现实的对比batch size 8、1024×1024、ResNet-101的DeepLabV3全参微调大概要22GB显存如果冻结backbone显存消耗大概能省30%左右但精度会有一定损失。如果显存只够跑batch size 2我建议要么把输入降到768×768要么换SegFormer-B2不要硬撑大分辨率否则BN层统计不稳定模型很难收敛。一个容易被忽略的点是学习率。从预训练权重开始微调1e-4是个安全值从零训练的话学习率可以适当提到5e-4但要注意防止发散。warmup非常推荐加上Transformer类的模型对warmup尤其敏感少了前面几次迭代loss容易飞。4.4 推理后处理与矢量化输出训练完模型只是第一步。落地到业务里分割图通常要转成矢量的房屋屋顶面才能进GIS系统。我的做法是推理时保留概率图不直接取argmax对背景类概率加一个0.55到0.6的阈值减少小目标的误检。对单类别的预测mask做连通域分析把像素数量小于阈值的孤立噪点删除。比如小于200像素的连通域多半是误检的施工围挡或者屋顶设备。边界平滑。直接用GDAL的Polygonize转矢量边界会呈现明显的锯齿可以用Douglas-Peucker算法做线简化容差设成0.5到1个像素既保留真实转折又能去掉锯齿。输出GeoJSON或Shapefile叠加到影像上供人工复核。这一步很多人会忽略但它直接决定了业务方愿不愿意用你的模型结果。模型mIoU再高如果矢量面边缘像狗啃业务方照样不敢用。5. 常见问题排查与避坑实录5.1 标签错位和数据泄漏最隐蔽的问题莫过于标签和影像错位。有一次训练loss怎么都降不下去验证集mIoU停留在0.5附近上不去。排查了半天发现是切块脚本里图像列表和mask列表的排序方式不一致导致模型拿A图的影像配B图的标签训练。这种错位不会报错模型只能靠记忆强行拟合最终指标上不去。检查方法很简单随机抽10组样本把影像和mask按相同透明度叠加在一起显示肉眼扫一遍边界是否对齐。模型训练前这一步一定不能省。另一个高发问题是数据泄漏。我已经强调过划分数据集一定要按图幅或区域划分而不是按切块随机打乱。尤其是滑窗步长小于窗口边长时相邻切块的场景重合度极高随机划分的话训练集里出现的屋顶几乎必然在验证集里也出现测出来的指标没有参考价值。5.2 屋顶边缘细碎、锯齿明显模型输出的屋顶边缘经常出现“碎成一片”的情况尤其在高分辨率影像上屋顶边缘的杂物、防水层痕迹、小阴影都会被模型当成不同类别。连片建筑密集的区域更是灾难两栋紧挨着的屋顶模型经常把边界画得歪歪扭扭。三招组合解决训练阶段使用边界加权损失。先对标签做Canny边缘提取在边缘附近像素给更高的loss权重让模型更关注边界准确度。推理阶段做条件随机场CRF后处理。CRF能利用像素间的颜色相似性把边缘“拉齐”虽然会增加推理时间但对最终矢量效果提升明显。矢量化之后再做一次拓扑修复把小于一个屋顶面积阈值、形状特别狭长的碎面合并或删除。这几个操作一步步加下来屋顶边界的可读性会有质的提升。5.3 材质类别互相混淆多类别分割最常见的问题是类别混淆。这套数据里我踩过最深的坑是彩钢屋顶和被阴影遮挡的普通屋顶、以及蓝色塑料棚之间的混淆。彩钢屋顶在阳光照射下反光强烈颜色呈现高亮蓝色而阴影里的混凝土屋顶因为光照不足颜色偏冷偏暗模型经常把这两个完全不同的类别搞混。解决办法不是加大彩钢屋顶的样本量这么简单而是要分析混淆发生在哪个特征层面。颜色特征被光照干扰那就需要数据增强中加入光照扰动让模型不再过度依赖绝对颜色。在标注规范里明确阴影区域的处理方式阴影盖住的屋顶统一按真实屋顶类别标注不要标成背景或阴影类否则模型会学到错误的对应关系。如果有多光谱数据近红外波段能明显区分植被和彩钢屋顶能大大降低植被覆盖边缘的误判。5.4 训练集和验证集的“虚假繁荣”还有一个很常见的现象训练集mIoU到了0.92验证集mIoU也有0.88看着一切完美结果把模型放到另一个城市、不同传感器来源的影像上测试mIoU直接掉到0.6以下。这不是过拟合而是泛化能力不足。数据分布训练集里太单一了同一个城市、同一种分辨率、同一个航拍季节。我在构建这套数据时特意混合了多个区域来源并且测试集里包含了一部分与训练集完全不同的地理区域。6000张看起来不少但如果全部来自同一个地方模型学到的其实是“这个城市的屋顶长什么样”而不是“屋顶长什么样”。所以使用的时候建议第一件事是先确认训练集和测试集是否在区域上隔离以及是否覆盖了多种建筑风格再决定要不要直接开训。6. 一点个人体会与后续扩展整理完这套数据后我最大的体会其实是一个能用、耐用的语义分割数据集价值不亚于一个好模型。数据集的类别定义、质量控制和划分方式几乎决定了模型上线后的天花板。当时为了改类别体系前前后后返工了两轮每次都是标注量一大、改了就得全部重新质检那种感受谁做谁知道。如果你要自己建数据集建议先做小范围试标100张把类别边界和标注规范里所有模糊地带都暴露出来再放大规模标注。这个成本最低的经验我希望你早点知道。后续这套数据可以扩展的方向也不少。一个是把SAM大模型纳入迭代流程新到的影像先用SAM生成初步mask人工修正后再训练模型效果会越滚越好。另一个是往变化检测方向走用不同年份的同一区域影像训练屋顶新增、拆除、材质更换的检测模型。还有就是直接接业务比如用分割结果估算屋顶光伏可安装面积、辅助违建排查的初筛工作流。数据底子打好了这些方向都能很快落地。本文还有配套的精品资源点击获取