1. 从“闭卷考试”到“开卷问答”为什么遥感图像分割需要“开放词汇”如果你在遥感领域做过图像分割无论是用U-Net、DeepLab还是其他什么模型大概率都经历过这样的流程收集一批特定区域的卫星或航拍图像然后人工标注出“建筑”、“道路”、“水体”、“林地”这几个类别接着训练模型最后在测试集上评估模型在“建筑”、“道路”、“水体”、“林地”这几个类别上的精度。这像不像一场“闭卷考试”模型在训练阶段只见过、也只认识试卷上训练集里规定的那几个类别。一旦在实际应用中遇到训练时没见过的地物比如“光伏电站”、“露天矿坑”、“体育场”模型要么将其错误地归入已知的某个类别比如把光伏板误认为水体要么直接忽略。这就是传统“封闭集”遥感图像分割的根本局限。现实世界是动态且无限丰富的而我们的标注能力和成本是有限的。我们不可能为世界上所有可能的地物类型都准备海量的标注数据。“开放词汇”分割要解决的正是这个“闭卷考试”的困境。它的核心思想是让模型具备“开卷”能力即能够根据用户输入的、任意文本描述的类别词汇来识别和分割图像中的对应区域。用户今天可以问“请找出图中的风力发电机”明天可以问“请分割出所有的温室大棚”而模型无需针对“风力发电机”或“温室大棚”进行重新训练。这背后的驱动力是遥感应用正从“普查式”的宏观监测转向“按需定制”的精细化分析。城市规划部门可能突然需要统计某个新区所有“在建工地”的面积环保机构在灾害后需要快速评估“损毁房屋”的分布农业公司希望识别不同种植模式的“农田地块”。“开放词汇”能力使得遥感分析工具变得极其灵活和强大能够快速响应这些层出不穷的、长尾的、甚至是一次性的分析需求。它不再是一个固定的分类器而更像一个能够“听懂”人类语言指令的视觉助手。2. 构建“开放词汇”能力的基石视觉-语言模型与提示工程要实现“开放词汇”关键在于让模型理解“文本”和“图像”之间的关联。这不再是单纯的计算机视觉任务而是“视觉-语言”多模态任务。近年来以CLIPContrastive Language-Image Pre-training为代表的大规模视觉-语言预训练模型为这一领域提供了强大的基础。CLIP模型通过在数亿计的“图像-文本对”上进行对比学习学会了将图像和文本映射到一个共享的语义空间。在这个空间里“狗的照片”和“狗”这个文本描述的向量表示是非常接近的而“狗的照片”和“汽车”的文本向量则相距甚远。对于遥感图像分割我们可以利用这个特性将待分割的遥感图像输入CLIP的图像编码器得到图像特征同时将用户提供的类别词汇如“wind turbine” “greenhouse”通过CLIP的文本编码器得到文本特征。然后在特征空间计算图像每个位置像素或区域与各个文本特征的相似度相似度最高的那个文本类别就被认为是该位置的类别。然而直接将“wind turbine”这样的原始词汇输入CLIP效果往往不尽如人意。这是因为自然语言描述存在巨大的灵活性。同一个物体可能有多种说法如“风力发电机”、“风车”、“风力涡轮机”而CLIP在预训练时见过的文本描述通常是更丰富、更具体的句子。这就引出了“提示工程”的概念。我们不是直接使用类别词而是将其嵌入到一个固定的、更接近预训练数据分布的模板句子中。例如将“wind turbine”转化为“a satellite image of a wind turbine”。通过设计更有效的提示模板如“an aerial photo of {class}” “a remote sensing image with {class}”可以显著提升模型对遥感场景特定类别的识别能力。在构建基准和基线方法时如何设计针对遥感领域优化的提示模板是一个需要深入探索的核心技术点。3. 评估“开放词汇”分割我们需要一个怎样的基准要推动一个领域的发展一个公正、全面、具有挑战性的评测基准至关重要。对于开放词汇遥感图像分割一个好的基准必须超越传统分割数据集只关注有限类别的设定它需要评估模型在“已知类别”和“未知类别”上的综合表现。一个理想的基准至少应包含以下几个维度3.1 数据集的构建与划分基准数据集需要包含丰富的场景和地物类别。它不应只是一个更大的数据集而应在数据划分上精心设计。通常采用“按类别划分”的方式基类Base Classes在训练阶段模型可以看到这些类别的图像和像素级标注。例如“建筑”、“道路”、“水体”。新类Novel Classes在训练阶段模型从未见过这些类别的任何像素级标注。但在测试时模型需要根据这些类别的文本名称如“光伏板”、“码头”进行分割。这是评估“开放词汇”泛化能力的核心。这种划分方式迫使模型必须利用从基类中学到的通用视觉特征以及从视觉-语言模型中继承的语义关联能力去推理和识别新类。基准需要包含足够多的新类且这些新类应与基类在视觉上有一定差异以体现真正的泛化挑战。3.2 评价指标的双重考量评价指标也需要革新。不能只看整体的平均交并比mIoU因为新类和基类的性能需要分别看待。新类性能mIoU-novel这是衡量“开放词汇”能力最直接的指标反映模型识别训练中未见过的类别的能力。基类性能mIoU-base评估模型在传统任务上的表现是否因为引入开放词汇机制而下降。一个好的方法应该在提升新类性能的同时尽量保持基类性能。调和平均Harmonic Mean, H由于新类数量通常远少于基类单纯平均可能掩盖问题。调和平均能更好地平衡两者其计算公式为 H (2 * mIoU-base * mIoU-novel) / (mIoU-base mIoU-novel)。一个健壮的模型应该在基类和新类上都有不错的表现从而获得较高的调和平均分。3.3 真实场景的复杂性基准中的图像应来源于多样化的传感器如不同分辨率的卫星、航拍、不同的时相、不同的地理区域和气候条件。图像中应包含小目标、密集目标、类内差异大、类间相似度高如“沥青路”和“停车场”等真实场景中常见的挑战。此外还应考虑“背景”类别的处理即那些不属于任何感兴趣类别的区域模型应能正确地将它们归为背景。4. 基线方法Pi-Seg的架构拆解与实战思考在开放词汇分割的早期探索中一个名为Pi-Seg的基线方法提供了非常清晰和实用的设计范式。理解Pi-Seg就理解了构建此类系统的基本逻辑。它的核心流程可以分解为以下几步4.1 特征提取与对齐首先一个视觉主干网络如ResNet、Swin Transformer提取输入遥感图像的多层级视觉特征。同时用户提供的类别词汇列表例如[“building”, “road”, “wind turbine”]经过提示工程如转化为[“a satellite image of a building”, “… of a road”, “… of a wind turbine”]后送入CLIP的文本编码器得到一组文本特征向量。这里的关键是“对齐”。图像特征和文本特征分别来自不同的编码器存在于不同的初始空间中。Pi-Seg通常会在网络中设计一个或多个“视觉-语言特征对齐模块”。这个模块的目标是让图像特征空间向文本特征空间靠拢或者学习一个共享的投影空间使得图像中属于“建筑”的区域特征与“建筑”的文本特征尽可能相似。这种对齐是实现像素级文本-图像匹配的基础。4.2 像素-文本相似度计算与分割图生成对于图像特征图上的每一个空间位置对应原图的一个像素或一个小区域计算其视觉特征向量与所有类别文本特征向量的余弦相似度。这样我们就得到了一个“相似度立方体”其尺寸为[H, W, C]其中H和W是特征图的高和宽C是类别数包括背景。这个立方体的每个[h, w, :]向量代表了该位置属于各个类别的可能性。接下来最简单的基线方法就是对这个相似度立方体在类别维度上取argmax即每个像素选择与之最相似的文本类别从而直接生成初步的分割图。这个过程完全避免了可训练的分类头分割逻辑由预训练的CLIP模型驱动。4.3 引入视觉线索与迭代优化然而直接取argmax得到的结果往往是粗糙的、噪声较大的。因为CLIP是图像级别的模型对像素级细粒度信息的把握不足。因此Pi-Seg这类方法会引入一个轻量级的、可训练的分割解码器。这个解码器以多层级的视觉特征和初步的相似度图作为输入。视觉特征提供了空间细节和上下文信息例如道路通常是细长的、连接的水体区域内部纹理均匀而初步的相似度图提供了语义导向。解码器通过一系列的上采样、融合和卷积操作利用视觉线索来优化和细化语义分割边界。这个过程可以看作是“用视觉细节去修正和增强基于语义的初步猜测”。4.4 训练策略的独特之处训练时我们只使用“基类”的像素级标注数据。损失函数通常包含两部分对齐损失鼓励图像特征与对应类别的文本特征在正确像素位置上相似度更高。这可以通过对比损失或简单的交叉熵损失实现。分割损失在解码器输出的最终分割图上计算其与基类真实标注之间的标准分割损失如交叉熵损失、Dice损失。非常重要的一点是在训练阶段“新类”的文本特征也会一并输入网络进行计算但计算损失时完全忽略与新类相关的部分。这样做的目的是让网络在训练过程中就“认识”这些新类的文本概念并学会将图像特征与它们进行对齐尽管没有它们的像素标签。这相当于让网络在“闭卷训练”的同时也“预习”了未来“开卷考试”可能遇到的题目。4.5 实战中的注意事项与调优点提示模板的敏感性基线性能高度依赖于提示模板。对于遥感图像“a satellite image of {class}”通常比“a photo of {class}”更有效。可以尝试多个模板并集成或使用可学习的提示向量。背景类别的处理“背景”是一个极其多样化的类别。一种常见做法是引入一个特定的“背景”文本描述如“others”并为其计算相似度。另一种更有效的方法是利用基类标签将不属于任何基类的区域默认为背景并在训练中让模型学会将低最大相似度的区域预测为背景。小目标与边界模糊CLIP模型对图像整体内容敏感但对小目标识别能力弱。这需要分割解码器充分利用高分辨率的浅层视觉特征来弥补。在损失函数中加强对小目标权重的设计如使用Focal Loss也是一个改进方向。计算效率对高分辨率遥感图像计算每个像素与所有文本的相似度开销很大。通常采用在深层特征图上计算再上采样的策略或使用记忆库、缓存等技巧进行优化。5. 超越基线当前面临的挑战与可能的演进方向尽管Pi-Seg这样的基线方法指明了道路但面向真实场景的开放词汇分割仍面临诸多严峻挑战这也是未来研究可能突破的方向。5.1 语义鸿沟与上下文依赖“风力发电机”在图像中可能只是一个几十像素的小点其视觉特征与“建筑”、“树木”等相比并不突出。而CLIP在预训练时可能更多关联的是“风力发电机”的近距离特写照片。这种语义粒度和视角差异造成了鸿沟。解决方法可能包括引入更丰富的文本描述不仅使用类别名还加入其属性、功能或上下文描述。例如将“wind turbine”扩展为“a wind turbine, which usually has white blades and is located in open fields or offshore”。这需要更强大的文本编码器或知识图谱的引入。利用视觉上下文风力发电机通常成群出现附近可能有变电站和道路。模型需要学会利用这种场景上下文来辅助识别。图神经网络或Transformer中的自注意力机制可以用来建模像素或区域间的长程依赖关系。5.2 类别歧义与层次结构现实中的类别是有层次和归属关系的。例如“交通工具”包含“汽车”、“卡车”、“船”。当用户查询“交通工具”时模型应该分割出所有下属类别。而当用户查询“汽车”时则不应包含卡车。这要求模型具备一定的层次化分类和零样本粒度识别能力。解决方案可能涉及构建类别的层次化文本描述或在相似度计算中引入层次化约束。5.3 从像素到开放集实例分割目前多数工作集中在语义分割每个像素一个类别。但实际应用中用户往往需要实例级的结果区分出每一个独立的风力发电机。将开放词汇能力与实例分割如Mask R-CNN, SOLO框架结合是一个更贴近应用的需求。难点在于如何将文本语义关联到每一个独立的实例提议上。5.4 对大规模遥感视觉-语言预训练的呼唤CLIP是在自然图像上预训练的其语义空间对遥感特有的、宏观的、拓扑化的地物表征可能并不最优。一个根本性的解决方案是收集海量的“遥感图像-描述文本对”例如卫星图像配以区域性的地理调查报告、新闻标题等训练一个遥感专属的CLIP模型。这可能是提升开放词汇遥感理解上限的最重要途径尽管数据收集和整理的代价巨大。开放词汇遥感图像分割正在将我们从“有什么模型分析什么内容”的被动状态推向“需要什么信息就提取什么信息”的主动时代。构建坚实的基准和基线方法是为了让这个领域的发展有据可循。而直面真实场景中的复杂挑战则需要我们在视觉-语言对齐、上下文理解、知识融合等多个层面持续创新。对于从业者而言现在正是深入理解其原理并在具体业务场景中尝试应用和迭代的最佳时机。从一个小范围、定义清晰的新类别开始实验逐步验证其可行性远比等待一个完美通用的解决方案更为实际。