如果你正在研究计算机视觉中的少样本分割任务可能会遇到一个核心矛盾现有的方法要么依赖语义提示如文本描述要么依赖视觉提示如参考图像但很少有框架能真正将两者统一起来发挥“112”的协同效应。这导致模型在面对复杂、开放世界场景时泛化能力受限难以仅凭少量样本就精准分割出目标。今天要介绍的DSV-LFS正是为解决这一痛点而生。这篇被WACV 2026接收的工作提出了一个名为Dual Semantic-Visual Prompting for Few-Shot Segmentation的统一框架。它不是一个简单的“缝合怪”而是通过一套精巧的架构设计让语义信息和视觉信息在提示学习过程中深度融合、相互增强。这篇文章将为你深入拆解 DSV-LFS。我们不止步于复述论文而是聚焦于三个关键问题为什么“双提示”是少样本分割的下一个关键方向我们将从任务本质和现有方法的局限谈起。DSV-LFS 是如何实现“112”的我们将剖析其核心模块语义提示编码器、视觉提示编码器以及至关重要的跨模态融合机制。如何快速上手并验证其效果我们将提供从环境搭建、代码解读到训练推理的完整实践指南并分析其优势与潜在的工程挑战。无论你是想跟进前沿研究还是希望将类似思路应用到自己的项目中这篇文章都将提供清晰的路径和可落地的代码。1. 少样本分割的困境与“双提示”的破局思路少样本分割Few-Shot Segmentation, FSS的目标是给定一个全新的类别仅提供极少数通常为1-5张带标注的支持图像模型就能在查询图像中分割出同类别的物体。这比传统的全监督分割更具挑战性也更贴近现实应用场景如医学图像中新病灶的发现、自动驾驶中罕见物体的识别等。传统FSS方法主要沿着两条路径发展基于视觉提示的方法这类方法如PFENet, HSNet的核心是学习如何从支持集的图像-掩码对中提取出具有判别性的视觉特征即“视觉提示”并将其传递给查询图像分支。它们擅长捕捉具体的纹理、形状和外观但对抽象语义和类别概念的理解较弱。基于语义提示的方法随着CLIP等视觉-语言大模型的兴起一些工作开始利用类别的文本名称如“dog”, “car”作为语义提示。这类方法能引入先验的类别知识对于区分视觉上相似但语义不同的物体如“狼”和“哈士奇”有帮助。但其缺点是对文本描述的准确性依赖高且无法建模特定实例的细微视觉特征。DSV-LFS 的核心判断是两者缺一不可。视觉提示提供了“这个特定物体长什么样”的实例级信息而语义提示提供了“这个类别通常是什么”的概念级信息。在少样本设定下仅凭视觉模型容易过拟合到支持样本的偶然性特征如特定角度、光照仅凭语义又无法应对类内差异巨大的情况如不同品种的狗。因此一个理想的框架应该能动态地、自适应地融合这两种提示当视觉信息明确时更多依赖它当视觉信息模糊或存在歧义时则转向更可靠的语义先验。DSV-LFS 正是朝着这个目标设计的。2. DSV-LFS 核心架构深度解析DSV-LFS 的整体流程可以概括为分别处理语义提示和视觉提示通过一个精心设计的融合模块将它们结合起来生成一个强大的“统一提示”最终指导分割网络对查询图像进行预测。下面我们拆解其三大核心组件。2.1 语义提示编码器从文本到视觉概念的桥梁语义提示通常就是类别的名称如“盆栽植物”。DSV-LFS 利用一个预训练的文本编码器例如 CLIP 的 Text Encoder将其转换为文本特征向量 ( T \in \mathbb{R}^{d} )。但关键的一步在于如何让这个文本特征更好地与视觉任务对齐DSV-LFS 没有直接使用 ( T )而是设计了一个可学习的语义投影网络。这个网络通常由几个全连接层和非线性激活函数组成它将文本特征 ( T ) 映射到视觉特征空间生成语义提示特征 ( P_s )。import torch import torch.nn as nn import clip class SemanticPromptEncoder(nn.Module): def __init__(self, clip_model, visual_feat_dim512): super().__init__() # 使用CLIP的文本编码器作为基础 self.clip_text_encoder clip_model.encode_text self.text_projection nn.Sequential( nn.Linear(512, visual_feat_dim), # CLIP文本特征维度通常是512 nn.ReLU(), nn.Linear(visual_feat_dim, visual_feat_dim) ) def forward(self, class_names): Args: class_names: List[str] or 经过tokenize的文本tensor Returns: ps: 语义提示特征 [batch_size, visual_feat_dim] # 获取CLIP文本特征 with torch.no_grad(): # 通常冻结CLIP编码器 text_features self.clip_text_encoder(class_names) # 投影到视觉特征空间 ps self.text_projection(text_features) return ps为什么需要这个投影网络预训练文本编码器的特征空间和视觉分割任务的特征空间存在差异。这个可学习的投影层充当了一个“适配器”让语义信息能以更有效的方式影响视觉特征的生成。2.2 视觉提示编码器提炼实例级视觉原型视觉提示编码器的输入是支持图像 ( I_s ) 及其对应的二值掩码 ( M_s )。它的目标是提取出该类别的“视觉原型”Visual Prototype即最能代表该类别的视觉特征。常见的方法是使用一个骨干网络如ResNet、ViT提取支持图像的特征图 ( F_s )然后利用掩码 ( M_s ) 对前景区域的特征进行池化通常是掩码平均池化得到视觉原型特征 ( P_v )。class VisualPromptEncoder(nn.Module): def __init__(self, backbone): super().__init__() self.backbone backbone # 假设backbone最后一级特征图的通道数为C def forward(self, support_img, support_mask): Args: support_img: 支持图像 [batch, 3, H, W] support_mask: 支持掩码 [batch, 1, H, W], 值在0-1之间 Returns: pv: 视觉提示特征 [batch, C] # 提取多尺度特征这里以最后一层特征为例 features self.backbone(support_img) # [batch, C, H, W] # 将support_mask下采样到与特征图相同尺寸 mask_resized F.interpolate(support_mask, sizefeatures.shape[2:], modenearest) # 掩码平均池化对前景区域mask0的特征求均值 # 计算每个样本的前景区域特征和 foreground_features features * mask_resized # [batch, C, H, W] sum_features torch.sum(foreground_features.flatten(2), dim-1) # [batch, C] # 计算每个样本的前景像素数 foreground_pixels torch.sum(mask_resized.flatten(2), dim-1) # [batch, 1] # 避免除零 foreground_pixels foreground_pixels.clamp(min1e-8) # 得到视觉原型 pv sum_features / foreground_pixels.unsqueeze(1) # [batch, C] return pvDSV-LFS 可能会在此基础之上进行增强例如使用多个支持样本时如何聚合原型或者如何抑制背景噪声。2.3 跨模态提示融合模块实现“112”的关键这是 DSV-LFS 最具创新性的部分。简单的特征拼接或相加不足以实现两种模态信息的深度交互。论文中可能采用了基于注意力机制的融合方式例如交叉注意力Cross-Attention或门控融合Gated Fusion。这里我们以一个简化的门控融合机制为例说明其思想class CrossModalFusion(nn.Module): def __init__(self, feat_dim): super().__init__() # 门控信号生成网络 self.gate_network nn.Sequential( nn.Linear(feat_dim * 2, feat_dim), nn.ReLU(), nn.Linear(feat_dim, feat_dim * 2), # 输出两个门控值 nn.Sigmoid() # 输出在0-1之间 ) # 可选的特征变换层 self.transform_s nn.Linear(feat_dim, feat_dim) self.transform_v nn.Linear(feat_dim, feat_dim) def forward(self, ps, pv): Args: ps: 语义提示特征 [batch, D] pv: 视觉提示特征 [batch, D] Returns: p_fused: 融合后的统一提示特征 [batch, D] # 1. 特征变换可选 ps_trans self.transform_s(ps) pv_trans self.transform_v(pv) # 2. 拼接特征生成门控信号 combined torch.cat([ps_trans, pv_trans], dim-1) # [batch, D*2] gates self.gate_network(combined) # [batch, D*2] gate_s, gate_v gates.chunk(2, dim-1) # 各为[batch, D] # 3. 应用门控加权融合 p_fused gate_s * ps_trans gate_v * pv_trans return p_fused这个模块的精妙之处在于“动态权重”。模型不是固定地认为语义和视觉各占50%的重要性而是根据当前具体的支持-查询对自动学习应该更相信语义提示还是视觉提示。例如对于常见物体“车”视觉特征可能非常可靠门控网络会给gate_v更高的权重而对于一个抽象或视觉多变的类别语义提示的权重gate_s可能会更高。最终得到的融合提示特征 ( P_{fused} ) 包含了互补的双模态信息被送入后续的分割解码器用于生成查询图像的分割掩码。3. 环境搭建与代码结构概览要复现或使用 DSV-LFS你需要准备以下环境。请注意以下版本为示例具体请参考论文官方代码库。3.1 基础环境配置# 创建并激活虚拟环境推荐 conda create -n dsvlfs python3.8 conda activate dsvlfs # 安装PyTorch (请根据你的CUDA版本选择) # 以CUDA 11.3为例 pip install torch1.12.1cu113 torchvision0.13.1cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 安装其他核心依赖 pip install opencv-python pillow matplotlib scikit-learn pip install tensorboard # 用于可视化训练过程 pip install einops # 便于张量操作3.2 安装 CLIP 及项目依赖DSV-LFS 依赖于 CLIP 来提供语义编码能力。# 安装OpenAI CLIP pip install githttps://github.com/openai/CLIP.git # 或者直接安装 # pip install ftfy regex tqdm # pip install githttps://github.com/openai/CLIP.git假设你从论文作者的仓库克隆了代码其目录结构可能如下所示DSV-LFS/ ├── datasets/ # 数据加载和预处理脚本 │ ├── __init__.py │ ├── pascal5i.py # PASCAL-5^i 数据集 │ └── coco20i.py # COCO-20^i 数据集 ├── models/ # 模型定义 │ ├── __init__.py │ ├── backbone.py # 视觉骨干网络如ResNet50 │ ├── semantic_encoder.py # 语义提示编码器 │ ├── visual_encoder.py # 视觉提示编码器 │ ├── fusion_module.py # 跨模态融合模块 │ └── decoder.py # 分割解码器 ├── utils/ # 工具函数指标计算、日志等 ├── configs/ # 配置文件YAML格式 ├── train.py # 主训练脚本 ├── test.py # 测试/推理脚本 └── README.md3.3 数据集准备少样本分割常用基准数据集包括 PASCAL-5^i 和 COCO-20^i。你需要从官网下载并按照项目要求整理。# 以PASCAL VOC 2012为例你需要下载并解压 # 1. 下载训练/验证数据 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar tar -xvf VOCtrainval_11-May-2012.tar # 2. 数据集通常需要按照5^i的划分方式组织支持集和查询集。 # 项目代码的 datasets/ 目录下应有脚本完成此工作或提供划分列表文件。 # 你需要将数据路径配置到 configs/pascal.yaml 中。configs/pascal.yaml 示例片段data: name: pascal5i root: /path/to/your/VOCdevkit/VOC2012 # 修改为你的路径 fold: 0 # 0,1,2,3 对应不同的类别划分 n_shot: 1 # 支持样本数如1-shot或5-shot batch_size: 44. 模型训练流程详解理解了核心模块后我们来看如何将它们组装起来进行训练。训练过程遵循Episodic Training范式这是少样本学习的标准方法。4.1 构建完整的 DSV-LFS 模型# models/dsvlfs.py import torch.nn as nn from .backbone import Backbone from .semantic_encoder import SemanticPromptEncoder from .visual_encoder import VisualPromptEncoder from .fusion_module import CrossModalFusion from .decoder import SegmentationDecoder class DSVLFS(nn.Module): def __init__(self, clip_model, backbone_nameresnet50): super().__init__() # 1. 视觉骨干网络 (提取查询图像和支持图像的特征) self.backbone Backbone(backbone_name) feat_dim self.backbone.feat_dim # 2. 双提示编码器 self.semantic_encoder SemanticPromptEncoder(clip_model, feat_dim) self.visual_encoder VisualPromptEncoder(self.backbone) # 3. 融合模块 self.fusion CrossModalFusion(feat_dim) # 4. 分割解码器 (例如基于FPN或ASPP的结构) self.decoder SegmentationDecoder(feat_dim) def forward(self, query_img, support_imgs, support_masks, class_names): Args: query_img: 查询图像 [B, 3, H, W] support_imgs: 支持图像列表 [K, 3, H, W] (K-shot) support_masks: 支持掩码列表 [K, 1, H, W] class_names: List[str] 长度 B Returns: pred_mask: 预测的查询图像分割掩码 [B, 1, H, W] batch_size query_img.size(0) # A. 提取查询图像特征 query_feats self.backbone(query_img) # 多尺度特征例如 [feat1, feat2, feat3] # B. 生成视觉提示 (处理K-shot) visual_prompts [] for img, mask in zip(support_imgs, support_masks): pv self.visual_encoder(img.unsqueeze(0), mask.unsqueeze(0)) # [1, D] visual_prompts.append(pv) # 对K个视觉原型进行聚合例如平均 pv torch.stack(visual_prompts, dim0).mean(dim0) # [1, D] - 广播或重复到[B, D] pv pv.expand(batch_size, -1) # [B, D] # C. 生成语义提示 ps self.semantic_encoder(class_names) # [B, D] # D. 跨模态融合 p_fused self.fusion(ps, pv) # [B, D] # E. 解码分割结果 # 将融合提示与查询图像特征结合常见做法是作为条件信息注入解码器 pred_mask self.decoder(query_feats, p_fused) # [B, 1, H, W] return pred_mask4.2 训练循环核心代码训练脚本 (train.py) 的核心循环逻辑如下# train.py 关键部分 import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from datasets import get_dataset from models import DSVLFS import clip # 1. 加载配置和CLIP模型 device torch.device(cuda if torch.cuda.is_available() else cpu) clip_model, _ clip.load(ViT-B/32, devicedevice) # 选择CLIP变体 clip_model.eval() # 通常冻结CLIP的参数 # 2. 初始化DSV-LFS模型 model DSVLFS(clip_model, backbone_nameresnet50).to(device) # 3. 定义损失函数和优化器 criterion nn.BCEWithLogitsLoss() # 二值交叉熵损失 optimizer optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) # 4. 创建数据加载器 train_dataset get_dataset(namepascal5i, splittrain, fold0, n_shot1) train_loader DataLoader(train_dataset, batch_size4, shuffleTrue, num_workers4) # 5. 训练循环 model.train() for epoch in range(100): for episode_idx, episode_data in enumerate(train_loader): # episode_data 通常包含query_img, query_mask, support_imgs, support_masks, class_name query_img episode_data[query_img].to(device) query_mask episode_data[query_mask].to(device).float() support_imgs [img.to(device) for img in episode_data[support_imgs]] support_masks [mask.to(device) for mask in episode_data[support_masks]] class_name episode_data[class_name] # List[str] # 前向传播 optimizer.zero_grad() pred_logits model(query_img, support_imgs, support_masks, class_name) loss criterion(pred_logits, query_mask) # 反向传播 loss.backward() optimizer.step() # 日志记录 if episode_idx % 50 0: print(fEpoch [{epoch1}/100], Step [{episode_idx}], Loss: {loss.item():.4f})4.3 关键训练技巧骨干网络预训练视觉骨干网络如ResNet应在ImageNet等大型数据集上预训练并在训练FSS任务时进行微调或部分冻结。CLIP模型冻结为了保持强大的语义先验CLIP的文本编码器有时也包括图像编码器通常在训练初期被冻结。平衡学习率对于骨干网络、新添加的模块如融合模块、解码器可能需要设置不同的学习率。数据增强对支持图像和查询图像应用随机裁剪、翻转、颜色抖动等增强是提升模型泛化能力的有效手段。5. 推理与效果验证训练完成后我们需要在测试集上评估模型的性能。少样本分割的常用评估指标是mIoU平均交并比。5.1 测试脚本核心逻辑# test.py 关键部分 import torch from torch.utils.data import DataLoader from datasets import get_dataset from models import DSVLFS import clip import numpy as np from utils.metrics import compute_iou def evaluate(model, test_loader, device): model.eval() iou_list [] with torch.no_grad(): for episode_data in test_loader: query_img episode_data[query_img].to(device) query_mask episode_data[query_mask].to(device).cpu().numpy() # [B, 1, H, W] support_imgs [img.to(device) for img in episode_data[support_imgs]] support_masks [mask.to(device) for mask in episode_data[support_masks]] class_name episode_data[class_name] # 预测 pred_logits model(query_img, support_imgs, support_masks, class_name) # [B, 1, H, W] pred_mask (torch.sigmoid(pred_logits) 0.5).cpu().numpy() # 二值化 # 计算IoU for i in range(pred_mask.shape[0]): iou compute_iou(pred_mask[i, 0], query_mask[i, 0]) iou_list.append(iou) miou np.mean(iou_list) return miou # 加载模型 device torch.device(cuda) clip_model, _ clip.load(ViT-B/32, devicedevice) model DSVLFS(clip_model).to(device) checkpoint torch.load(best_model.pth) model.load_state_dict(checkpoint[model_state_dict]) # 创建测试集 test_dataset get_dataset(namepascal5i, splittest, fold0, n_shot1) test_loader DataLoader(test_dataset, batch_size1, shuffleFalse, num_workers4) # batch_size通常为1 # 运行评估 test_miou evaluate(model, test_loader, device) print(fTest mIoU (1-shot, fold 0): {test_miou:.4f})utils/metrics.py中的 IoU 计算函数def compute_iou(pred, target): pred: numpy array [H, W], bool or 0/1 target: numpy array [H, W], bool or 0/1 intersection np.logical_and(pred, target).sum() union np.logical_or(pred, target).sum() if union 0: return float(nan) # 避免除零后续可过滤 iou intersection / union return iou5.2 预期结果与可视化运行测试脚本后你会得到在指定数据集和折叠fold上的 mIoU。根据论文报告DSV-LFS 在 PASCAL-5^i 1-shot 任务上平均 mIoU 应比纯视觉或纯语义的基线方法有显著提升例如提升 3-5 个百分点。为了直观感受效果可以添加可视化代码将支持图像、查询图像、真实掩码和预测掩码并排显示。import matplotlib.pyplot as plt def visualize_episode(support_img, support_mask, query_img, query_mask, pred_mask): fig, axes plt.subplots(1, 5, figsize(20, 4)) titles [Support Image, Support Mask, Query Image, GT Mask, Pred Mask] imgs [support_img, support_mask, query_img, query_mask, pred_mask] for ax, img, title in zip(axes, imgs, titles): ax.imshow(img, cmapgray if Mask in title else None) ax.set_title(title) ax.axis(off) plt.show()6. 常见问题与排查思路在复现或应用 DSV-LFS 时你可能会遇到以下典型问题。问题现象可能原因排查方式解决方案训练损失不下降或为 NaN1. 学习率过高。2. 数据预处理错误如归一化范围不对。3. 梯度爆炸。4. 融合模块输出异常值。1. 检查前几个 batch 的损失值。2. 打印输入图像的像素值范围应为 [0,1] 或标准化后。3. 使用torch.nn.utils.clip_grad_norm_监控梯度。4. 在融合模块后打印特征值的均值和标准差。1. 降低学习率如从 1e-4 降至 1e-5。2. 确保数据加载器正确应用了ToTensor()和Normalize()。3. 添加梯度裁剪clip_grad_norm_(model.parameters(), max_norm1.0)。4. 在融合模块后加入 LayerNorm 或 BatchNorm。模型预测结果全黑或全白1. 解码器初始化不当输出 logits 幅值过大sigmoid 后饱和。2. 损失函数权重失衡。3. 提示特征未正确传递到解码器。1. 检查预测 logits 的值应在合理范围如 [-10, 10]。2. 检查数据集中前景/背景像素比例是否极端失衡。3. 可视化融合提示特征看其是否包含有效信息。1. 使用更小的标准差初始化解码器最后一层。2. 在损失函数中引入类别权重或使用 Dice Loss、Focal Loss。3. 检查解码器是否确实接收并利用了p_fused特征。测试 mIoU 远低于论文报告值1. 数据集划分不一致。2. 数据预处理与论文不一致如 resize 尺寸、增强策略。3. 骨干网络预训练权重不同。4. CLIP 模型版本差异。1. 核对数据集加载代码确保使用与论文相同的类别划分fold。2. 仔细对比论文附录或代码库中的预处理细节。3. 确认骨干网络加载的是 ImageNet 预训练权重。4. 确认使用的 CLIP 变体如 ViT-B/32 vs RN50。1. 使用论文官方提供的划分列表文件。2. 严格复现论文的数据预处理流水线。3. 从 torchvision 官方加载预训练权重。4. 尝试论文中明确指定的 CLIP 版本。GPU 内存溢出 (OOM)1. Batch size 或图像尺寸过大。2. 在训练时未冻结 CLIP 模型导致计算图过大。3. 保存了不必要的中间变量。1. 使用nvidia-smi监控 GPU 内存使用。2. 检查 CLIP 模型的requires_grad属性。3. 使用代码分析工具如 PyTorch Profiler。1. 减小 batch size使用梯度累积。2. 冻结 CLIP 参数for param in clip_model.parameters(): param.requires_grad False。3. 使用with torch.no_grad():包裹不需要梯度的计算及时释放中间变量。语义提示似乎没起作用1. 语义投影网络训练不稳定未收敛。2. 门控融合机制中语义提示的权重始终接近零。3. 类别名称文本输入有误。1. 单独测试语义编码器看输出特征是否随输入文本变化。2. 可视化训练过程中gate_s和gate_v的分布。3. 打印输入的class_names检查是否有拼写错误或格式问题。1. 为语义投影网络设置更小的初始学习率。2. 在融合模块损失中加入对门控值的正则化鼓励两者均衡使用。3. 确保文本输入是字符串列表并经过正确的 CLIP tokenizer 处理。7. 最佳实践与进阶探索成功运行 DSV-LFS 基线后你可以从以下几个方向进行优化和深入探索以更好地应用于实际项目或研究。7.1 工程化建议模块化与配置化将模型架构、训练参数、数据集路径全部写入配置文件如 YAML。使用argparse或hydra库管理命令行参数使实验复现和管理更加方便。日志与可视化除了打印损失建议使用 TensorBoard 或 WandB 记录训练曲线、验证 mIoU、可视化预测结果。这对于分析模型行为和调试至关重要。模型保存与加载不仅要保存模型状态字典 (state_dict)还应保存优化器状态、当前 epoch、最佳指标等以便从中断处恢复训练或进行模型集成。checkpoint { epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), best_miou: best_miou, } torch.save(checkpoint, checkpoint.pth)多 GPU 训练如果资源允许使用torch.nn.DataParallel或torch.nn.parallel.DistributedDataParallel进行多 GPU 训练可以显著缩短训练时间。7.2 性能优化方向更高效的融合机制论文中的融合模块是核心。你可以尝试更复杂的结构如Transformer 编码器层进行多轮交互或基于记忆网络的融合看看是否能进一步提升性能。提示的细粒度化当前的语义提示是类别级别的。可以探索属性级提示如“红色的轿车”、“有斑点的狗”或多词组提示提供更丰富的语义信息。利用未标注数据在少样本设定下标注数据极其稀缺。可以考虑使用自监督学习对骨干网络进行预训练或者利用半监督学习在训练中引入大量未标注的查询图像。扩展到多模态少样本检测DSV-LFS 的思路可以自然延伸到少样本目标检测任务。视觉提示可以来自标注框语义提示同样来自类别文本融合后的提示用于指导检测头的预测。7.3 针对实际场景的调整领域自适应如果你要将模型应用于医学图像如 MRI、遥感图像等新领域CLIP 的语义先验可能不匹配。此时可以考虑在该领域的数据上继续预训练 CLIP如果领域数据足够或者使用该领域的专业术语构建领域特定的文本编码器。处理“未知类别”少样本分割通常假设测试类别在训练时完全未知。但在开放世界场景查询图像可能包含训练时见过的“基类”和没见过的“新类”。可以研究如何让模型同时利用基类的知识来帮助新类的分割这需要更精巧的提示设计和知识迁移机制。DSV-LFS 为我们提供了一个强大的少样本分割基线框架。它最核心的启示在于在数据稀缺的背景下融合来自不同模态、不同抽象层次的先验知识是突破性能瓶颈的关键。通过本文的拆解希望你不仅能够复现这个工作更能理解其设计精髓并将其中的“双提示融合”思想应用到你所面临的视觉感知挑战中。 DSV-LFS：双语义-视觉提示融合框架在少样本分割中的实践
如果你正在研究计算机视觉中的少样本分割任务可能会遇到一个核心矛盾现有的方法要么依赖语义提示如文本描述要么依赖视觉提示如参考图像但很少有框架能真正将两者统一起来发挥“112”的协同效应。这导致模型在面对复杂、开放世界场景时泛化能力受限难以仅凭少量样本就精准分割出目标。今天要介绍的DSV-LFS正是为解决这一痛点而生。这篇被WACV 2026接收的工作提出了一个名为Dual Semantic-Visual Prompting for Few-Shot Segmentation的统一框架。它不是一个简单的“缝合怪”而是通过一套精巧的架构设计让语义信息和视觉信息在提示学习过程中深度融合、相互增强。这篇文章将为你深入拆解 DSV-LFS。我们不止步于复述论文而是聚焦于三个关键问题为什么“双提示”是少样本分割的下一个关键方向我们将从任务本质和现有方法的局限谈起。DSV-LFS 是如何实现“112”的我们将剖析其核心模块语义提示编码器、视觉提示编码器以及至关重要的跨模态融合机制。如何快速上手并验证其效果我们将提供从环境搭建、代码解读到训练推理的完整实践指南并分析其优势与潜在的工程挑战。无论你是想跟进前沿研究还是希望将类似思路应用到自己的项目中这篇文章都将提供清晰的路径和可落地的代码。1. 少样本分割的困境与“双提示”的破局思路少样本分割Few-Shot Segmentation, FSS的目标是给定一个全新的类别仅提供极少数通常为1-5张带标注的支持图像模型就能在查询图像中分割出同类别的物体。这比传统的全监督分割更具挑战性也更贴近现实应用场景如医学图像中新病灶的发现、自动驾驶中罕见物体的识别等。传统FSS方法主要沿着两条路径发展基于视觉提示的方法这类方法如PFENet, HSNet的核心是学习如何从支持集的图像-掩码对中提取出具有判别性的视觉特征即“视觉提示”并将其传递给查询图像分支。它们擅长捕捉具体的纹理、形状和外观但对抽象语义和类别概念的理解较弱。基于语义提示的方法随着CLIP等视觉-语言大模型的兴起一些工作开始利用类别的文本名称如“dog”, “car”作为语义提示。这类方法能引入先验的类别知识对于区分视觉上相似但语义不同的物体如“狼”和“哈士奇”有帮助。但其缺点是对文本描述的准确性依赖高且无法建模特定实例的细微视觉特征。DSV-LFS 的核心判断是两者缺一不可。视觉提示提供了“这个特定物体长什么样”的实例级信息而语义提示提供了“这个类别通常是什么”的概念级信息。在少样本设定下仅凭视觉模型容易过拟合到支持样本的偶然性特征如特定角度、光照仅凭语义又无法应对类内差异巨大的情况如不同品种的狗。因此一个理想的框架应该能动态地、自适应地融合这两种提示当视觉信息明确时更多依赖它当视觉信息模糊或存在歧义时则转向更可靠的语义先验。DSV-LFS 正是朝着这个目标设计的。2. DSV-LFS 核心架构深度解析DSV-LFS 的整体流程可以概括为分别处理语义提示和视觉提示通过一个精心设计的融合模块将它们结合起来生成一个强大的“统一提示”最终指导分割网络对查询图像进行预测。下面我们拆解其三大核心组件。2.1 语义提示编码器从文本到视觉概念的桥梁语义提示通常就是类别的名称如“盆栽植物”。DSV-LFS 利用一个预训练的文本编码器例如 CLIP 的 Text Encoder将其转换为文本特征向量 ( T \in \mathbb{R}^{d} )。但关键的一步在于如何让这个文本特征更好地与视觉任务对齐DSV-LFS 没有直接使用 ( T )而是设计了一个可学习的语义投影网络。这个网络通常由几个全连接层和非线性激活函数组成它将文本特征 ( T ) 映射到视觉特征空间生成语义提示特征 ( P_s )。import torch import torch.nn as nn import clip class SemanticPromptEncoder(nn.Module): def __init__(self, clip_model, visual_feat_dim512): super().__init__() # 使用CLIP的文本编码器作为基础 self.clip_text_encoder clip_model.encode_text self.text_projection nn.Sequential( nn.Linear(512, visual_feat_dim), # CLIP文本特征维度通常是512 nn.ReLU(), nn.Linear(visual_feat_dim, visual_feat_dim) ) def forward(self, class_names): Args: class_names: List[str] or 经过tokenize的文本tensor Returns: ps: 语义提示特征 [batch_size, visual_feat_dim] # 获取CLIP文本特征 with torch.no_grad(): # 通常冻结CLIP编码器 text_features self.clip_text_encoder(class_names) # 投影到视觉特征空间 ps self.text_projection(text_features) return ps为什么需要这个投影网络预训练文本编码器的特征空间和视觉分割任务的特征空间存在差异。这个可学习的投影层充当了一个“适配器”让语义信息能以更有效的方式影响视觉特征的生成。2.2 视觉提示编码器提炼实例级视觉原型视觉提示编码器的输入是支持图像 ( I_s ) 及其对应的二值掩码 ( M_s )。它的目标是提取出该类别的“视觉原型”Visual Prototype即最能代表该类别的视觉特征。常见的方法是使用一个骨干网络如ResNet、ViT提取支持图像的特征图 ( F_s )然后利用掩码 ( M_s ) 对前景区域的特征进行池化通常是掩码平均池化得到视觉原型特征 ( P_v )。class VisualPromptEncoder(nn.Module): def __init__(self, backbone): super().__init__() self.backbone backbone # 假设backbone最后一级特征图的通道数为C def forward(self, support_img, support_mask): Args: support_img: 支持图像 [batch, 3, H, W] support_mask: 支持掩码 [batch, 1, H, W], 值在0-1之间 Returns: pv: 视觉提示特征 [batch, C] # 提取多尺度特征这里以最后一层特征为例 features self.backbone(support_img) # [batch, C, H, W] # 将support_mask下采样到与特征图相同尺寸 mask_resized F.interpolate(support_mask, sizefeatures.shape[2:], modenearest) # 掩码平均池化对前景区域mask0的特征求均值 # 计算每个样本的前景区域特征和 foreground_features features * mask_resized # [batch, C, H, W] sum_features torch.sum(foreground_features.flatten(2), dim-1) # [batch, C] # 计算每个样本的前景像素数 foreground_pixels torch.sum(mask_resized.flatten(2), dim-1) # [batch, 1] # 避免除零 foreground_pixels foreground_pixels.clamp(min1e-8) # 得到视觉原型 pv sum_features / foreground_pixels.unsqueeze(1) # [batch, C] return pvDSV-LFS 可能会在此基础之上进行增强例如使用多个支持样本时如何聚合原型或者如何抑制背景噪声。2.3 跨模态提示融合模块实现“112”的关键这是 DSV-LFS 最具创新性的部分。简单的特征拼接或相加不足以实现两种模态信息的深度交互。论文中可能采用了基于注意力机制的融合方式例如交叉注意力Cross-Attention或门控融合Gated Fusion。这里我们以一个简化的门控融合机制为例说明其思想class CrossModalFusion(nn.Module): def __init__(self, feat_dim): super().__init__() # 门控信号生成网络 self.gate_network nn.Sequential( nn.Linear(feat_dim * 2, feat_dim), nn.ReLU(), nn.Linear(feat_dim, feat_dim * 2), # 输出两个门控值 nn.Sigmoid() # 输出在0-1之间 ) # 可选的特征变换层 self.transform_s nn.Linear(feat_dim, feat_dim) self.transform_v nn.Linear(feat_dim, feat_dim) def forward(self, ps, pv): Args: ps: 语义提示特征 [batch, D] pv: 视觉提示特征 [batch, D] Returns: p_fused: 融合后的统一提示特征 [batch, D] # 1. 特征变换可选 ps_trans self.transform_s(ps) pv_trans self.transform_v(pv) # 2. 拼接特征生成门控信号 combined torch.cat([ps_trans, pv_trans], dim-1) # [batch, D*2] gates self.gate_network(combined) # [batch, D*2] gate_s, gate_v gates.chunk(2, dim-1) # 各为[batch, D] # 3. 应用门控加权融合 p_fused gate_s * ps_trans gate_v * pv_trans return p_fused这个模块的精妙之处在于“动态权重”。模型不是固定地认为语义和视觉各占50%的重要性而是根据当前具体的支持-查询对自动学习应该更相信语义提示还是视觉提示。例如对于常见物体“车”视觉特征可能非常可靠门控网络会给gate_v更高的权重而对于一个抽象或视觉多变的类别语义提示的权重gate_s可能会更高。最终得到的融合提示特征 ( P_{fused} ) 包含了互补的双模态信息被送入后续的分割解码器用于生成查询图像的分割掩码。3. 环境搭建与代码结构概览要复现或使用 DSV-LFS你需要准备以下环境。请注意以下版本为示例具体请参考论文官方代码库。3.1 基础环境配置# 创建并激活虚拟环境推荐 conda create -n dsvlfs python3.8 conda activate dsvlfs # 安装PyTorch (请根据你的CUDA版本选择) # 以CUDA 11.3为例 pip install torch1.12.1cu113 torchvision0.13.1cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 安装其他核心依赖 pip install opencv-python pillow matplotlib scikit-learn pip install tensorboard # 用于可视化训练过程 pip install einops # 便于张量操作3.2 安装 CLIP 及项目依赖DSV-LFS 依赖于 CLIP 来提供语义编码能力。# 安装OpenAI CLIP pip install githttps://github.com/openai/CLIP.git # 或者直接安装 # pip install ftfy regex tqdm # pip install githttps://github.com/openai/CLIP.git假设你从论文作者的仓库克隆了代码其目录结构可能如下所示DSV-LFS/ ├── datasets/ # 数据加载和预处理脚本 │ ├── __init__.py │ ├── pascal5i.py # PASCAL-5^i 数据集 │ └── coco20i.py # COCO-20^i 数据集 ├── models/ # 模型定义 │ ├── __init__.py │ ├── backbone.py # 视觉骨干网络如ResNet50 │ ├── semantic_encoder.py # 语义提示编码器 │ ├── visual_encoder.py # 视觉提示编码器 │ ├── fusion_module.py # 跨模态融合模块 │ └── decoder.py # 分割解码器 ├── utils/ # 工具函数指标计算、日志等 ├── configs/ # 配置文件YAML格式 ├── train.py # 主训练脚本 ├── test.py # 测试/推理脚本 └── README.md3.3 数据集准备少样本分割常用基准数据集包括 PASCAL-5^i 和 COCO-20^i。你需要从官网下载并按照项目要求整理。# 以PASCAL VOC 2012为例你需要下载并解压 # 1. 下载训练/验证数据 wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar tar -xvf VOCtrainval_11-May-2012.tar # 2. 数据集通常需要按照5^i的划分方式组织支持集和查询集。 # 项目代码的 datasets/ 目录下应有脚本完成此工作或提供划分列表文件。 # 你需要将数据路径配置到 configs/pascal.yaml 中。configs/pascal.yaml 示例片段data: name: pascal5i root: /path/to/your/VOCdevkit/VOC2012 # 修改为你的路径 fold: 0 # 0,1,2,3 对应不同的类别划分 n_shot: 1 # 支持样本数如1-shot或5-shot batch_size: 44. 模型训练流程详解理解了核心模块后我们来看如何将它们组装起来进行训练。训练过程遵循Episodic Training范式这是少样本学习的标准方法。4.1 构建完整的 DSV-LFS 模型# models/dsvlfs.py import torch.nn as nn from .backbone import Backbone from .semantic_encoder import SemanticPromptEncoder from .visual_encoder import VisualPromptEncoder from .fusion_module import CrossModalFusion from .decoder import SegmentationDecoder class DSVLFS(nn.Module): def __init__(self, clip_model, backbone_nameresnet50): super().__init__() # 1. 视觉骨干网络 (提取查询图像和支持图像的特征) self.backbone Backbone(backbone_name) feat_dim self.backbone.feat_dim # 2. 双提示编码器 self.semantic_encoder SemanticPromptEncoder(clip_model, feat_dim) self.visual_encoder VisualPromptEncoder(self.backbone) # 3. 融合模块 self.fusion CrossModalFusion(feat_dim) # 4. 分割解码器 (例如基于FPN或ASPP的结构) self.decoder SegmentationDecoder(feat_dim) def forward(self, query_img, support_imgs, support_masks, class_names): Args: query_img: 查询图像 [B, 3, H, W] support_imgs: 支持图像列表 [K, 3, H, W] (K-shot) support_masks: 支持掩码列表 [K, 1, H, W] class_names: List[str] 长度 B Returns: pred_mask: 预测的查询图像分割掩码 [B, 1, H, W] batch_size query_img.size(0) # A. 提取查询图像特征 query_feats self.backbone(query_img) # 多尺度特征例如 [feat1, feat2, feat3] # B. 生成视觉提示 (处理K-shot) visual_prompts [] for img, mask in zip(support_imgs, support_masks): pv self.visual_encoder(img.unsqueeze(0), mask.unsqueeze(0)) # [1, D] visual_prompts.append(pv) # 对K个视觉原型进行聚合例如平均 pv torch.stack(visual_prompts, dim0).mean(dim0) # [1, D] - 广播或重复到[B, D] pv pv.expand(batch_size, -1) # [B, D] # C. 生成语义提示 ps self.semantic_encoder(class_names) # [B, D] # D. 跨模态融合 p_fused self.fusion(ps, pv) # [B, D] # E. 解码分割结果 # 将融合提示与查询图像特征结合常见做法是作为条件信息注入解码器 pred_mask self.decoder(query_feats, p_fused) # [B, 1, H, W] return pred_mask4.2 训练循环核心代码训练脚本 (train.py) 的核心循环逻辑如下# train.py 关键部分 import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from datasets import get_dataset from models import DSVLFS import clip # 1. 加载配置和CLIP模型 device torch.device(cuda if torch.cuda.is_available() else cpu) clip_model, _ clip.load(ViT-B/32, devicedevice) # 选择CLIP变体 clip_model.eval() # 通常冻结CLIP的参数 # 2. 初始化DSV-LFS模型 model DSVLFS(clip_model, backbone_nameresnet50).to(device) # 3. 定义损失函数和优化器 criterion nn.BCEWithLogitsLoss() # 二值交叉熵损失 optimizer optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) # 4. 创建数据加载器 train_dataset get_dataset(namepascal5i, splittrain, fold0, n_shot1) train_loader DataLoader(train_dataset, batch_size4, shuffleTrue, num_workers4) # 5. 训练循环 model.train() for epoch in range(100): for episode_idx, episode_data in enumerate(train_loader): # episode_data 通常包含query_img, query_mask, support_imgs, support_masks, class_name query_img episode_data[query_img].to(device) query_mask episode_data[query_mask].to(device).float() support_imgs [img.to(device) for img in episode_data[support_imgs]] support_masks [mask.to(device) for mask in episode_data[support_masks]] class_name episode_data[class_name] # List[str] # 前向传播 optimizer.zero_grad() pred_logits model(query_img, support_imgs, support_masks, class_name) loss criterion(pred_logits, query_mask) # 反向传播 loss.backward() optimizer.step() # 日志记录 if episode_idx % 50 0: print(fEpoch [{epoch1}/100], Step [{episode_idx}], Loss: {loss.item():.4f})4.3 关键训练技巧骨干网络预训练视觉骨干网络如ResNet应在ImageNet等大型数据集上预训练并在训练FSS任务时进行微调或部分冻结。CLIP模型冻结为了保持强大的语义先验CLIP的文本编码器有时也包括图像编码器通常在训练初期被冻结。平衡学习率对于骨干网络、新添加的模块如融合模块、解码器可能需要设置不同的学习率。数据增强对支持图像和查询图像应用随机裁剪、翻转、颜色抖动等增强是提升模型泛化能力的有效手段。5. 推理与效果验证训练完成后我们需要在测试集上评估模型的性能。少样本分割的常用评估指标是mIoU平均交并比。5.1 测试脚本核心逻辑# test.py 关键部分 import torch from torch.utils.data import DataLoader from datasets import get_dataset from models import DSVLFS import clip import numpy as np from utils.metrics import compute_iou def evaluate(model, test_loader, device): model.eval() iou_list [] with torch.no_grad(): for episode_data in test_loader: query_img episode_data[query_img].to(device) query_mask episode_data[query_mask].to(device).cpu().numpy() # [B, 1, H, W] support_imgs [img.to(device) for img in episode_data[support_imgs]] support_masks [mask.to(device) for mask in episode_data[support_masks]] class_name episode_data[class_name] # 预测 pred_logits model(query_img, support_imgs, support_masks, class_name) # [B, 1, H, W] pred_mask (torch.sigmoid(pred_logits) 0.5).cpu().numpy() # 二值化 # 计算IoU for i in range(pred_mask.shape[0]): iou compute_iou(pred_mask[i, 0], query_mask[i, 0]) iou_list.append(iou) miou np.mean(iou_list) return miou # 加载模型 device torch.device(cuda) clip_model, _ clip.load(ViT-B/32, devicedevice) model DSVLFS(clip_model).to(device) checkpoint torch.load(best_model.pth) model.load_state_dict(checkpoint[model_state_dict]) # 创建测试集 test_dataset get_dataset(namepascal5i, splittest, fold0, n_shot1) test_loader DataLoader(test_dataset, batch_size1, shuffleFalse, num_workers4) # batch_size通常为1 # 运行评估 test_miou evaluate(model, test_loader, device) print(fTest mIoU (1-shot, fold 0): {test_miou:.4f})utils/metrics.py中的 IoU 计算函数def compute_iou(pred, target): pred: numpy array [H, W], bool or 0/1 target: numpy array [H, W], bool or 0/1 intersection np.logical_and(pred, target).sum() union np.logical_or(pred, target).sum() if union 0: return float(nan) # 避免除零后续可过滤 iou intersection / union return iou5.2 预期结果与可视化运行测试脚本后你会得到在指定数据集和折叠fold上的 mIoU。根据论文报告DSV-LFS 在 PASCAL-5^i 1-shot 任务上平均 mIoU 应比纯视觉或纯语义的基线方法有显著提升例如提升 3-5 个百分点。为了直观感受效果可以添加可视化代码将支持图像、查询图像、真实掩码和预测掩码并排显示。import matplotlib.pyplot as plt def visualize_episode(support_img, support_mask, query_img, query_mask, pred_mask): fig, axes plt.subplots(1, 5, figsize(20, 4)) titles [Support Image, Support Mask, Query Image, GT Mask, Pred Mask] imgs [support_img, support_mask, query_img, query_mask, pred_mask] for ax, img, title in zip(axes, imgs, titles): ax.imshow(img, cmapgray if Mask in title else None) ax.set_title(title) ax.axis(off) plt.show()6. 常见问题与排查思路在复现或应用 DSV-LFS 时你可能会遇到以下典型问题。问题现象可能原因排查方式解决方案训练损失不下降或为 NaN1. 学习率过高。2. 数据预处理错误如归一化范围不对。3. 梯度爆炸。4. 融合模块输出异常值。1. 检查前几个 batch 的损失值。2. 打印输入图像的像素值范围应为 [0,1] 或标准化后。3. 使用torch.nn.utils.clip_grad_norm_监控梯度。4. 在融合模块后打印特征值的均值和标准差。1. 降低学习率如从 1e-4 降至 1e-5。2. 确保数据加载器正确应用了ToTensor()和Normalize()。3. 添加梯度裁剪clip_grad_norm_(model.parameters(), max_norm1.0)。4. 在融合模块后加入 LayerNorm 或 BatchNorm。模型预测结果全黑或全白1. 解码器初始化不当输出 logits 幅值过大sigmoid 后饱和。2. 损失函数权重失衡。3. 提示特征未正确传递到解码器。1. 检查预测 logits 的值应在合理范围如 [-10, 10]。2. 检查数据集中前景/背景像素比例是否极端失衡。3. 可视化融合提示特征看其是否包含有效信息。1. 使用更小的标准差初始化解码器最后一层。2. 在损失函数中引入类别权重或使用 Dice Loss、Focal Loss。3. 检查解码器是否确实接收并利用了p_fused特征。测试 mIoU 远低于论文报告值1. 数据集划分不一致。2. 数据预处理与论文不一致如 resize 尺寸、增强策略。3. 骨干网络预训练权重不同。4. CLIP 模型版本差异。1. 核对数据集加载代码确保使用与论文相同的类别划分fold。2. 仔细对比论文附录或代码库中的预处理细节。3. 确认骨干网络加载的是 ImageNet 预训练权重。4. 确认使用的 CLIP 变体如 ViT-B/32 vs RN50。1. 使用论文官方提供的划分列表文件。2. 严格复现论文的数据预处理流水线。3. 从 torchvision 官方加载预训练权重。4. 尝试论文中明确指定的 CLIP 版本。GPU 内存溢出 (OOM)1. Batch size 或图像尺寸过大。2. 在训练时未冻结 CLIP 模型导致计算图过大。3. 保存了不必要的中间变量。1. 使用nvidia-smi监控 GPU 内存使用。2. 检查 CLIP 模型的requires_grad属性。3. 使用代码分析工具如 PyTorch Profiler。1. 减小 batch size使用梯度累积。2. 冻结 CLIP 参数for param in clip_model.parameters(): param.requires_grad False。3. 使用with torch.no_grad():包裹不需要梯度的计算及时释放中间变量。语义提示似乎没起作用1. 语义投影网络训练不稳定未收敛。2. 门控融合机制中语义提示的权重始终接近零。3. 类别名称文本输入有误。1. 单独测试语义编码器看输出特征是否随输入文本变化。2. 可视化训练过程中gate_s和gate_v的分布。3. 打印输入的class_names检查是否有拼写错误或格式问题。1. 为语义投影网络设置更小的初始学习率。2. 在融合模块损失中加入对门控值的正则化鼓励两者均衡使用。3. 确保文本输入是字符串列表并经过正确的 CLIP tokenizer 处理。7. 最佳实践与进阶探索成功运行 DSV-LFS 基线后你可以从以下几个方向进行优化和深入探索以更好地应用于实际项目或研究。7.1 工程化建议模块化与配置化将模型架构、训练参数、数据集路径全部写入配置文件如 YAML。使用argparse或hydra库管理命令行参数使实验复现和管理更加方便。日志与可视化除了打印损失建议使用 TensorBoard 或 WandB 记录训练曲线、验证 mIoU、可视化预测结果。这对于分析模型行为和调试至关重要。模型保存与加载不仅要保存模型状态字典 (state_dict)还应保存优化器状态、当前 epoch、最佳指标等以便从中断处恢复训练或进行模型集成。checkpoint { epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), best_miou: best_miou, } torch.save(checkpoint, checkpoint.pth)多 GPU 训练如果资源允许使用torch.nn.DataParallel或torch.nn.parallel.DistributedDataParallel进行多 GPU 训练可以显著缩短训练时间。7.2 性能优化方向更高效的融合机制论文中的融合模块是核心。你可以尝试更复杂的结构如Transformer 编码器层进行多轮交互或基于记忆网络的融合看看是否能进一步提升性能。提示的细粒度化当前的语义提示是类别级别的。可以探索属性级提示如“红色的轿车”、“有斑点的狗”或多词组提示提供更丰富的语义信息。利用未标注数据在少样本设定下标注数据极其稀缺。可以考虑使用自监督学习对骨干网络进行预训练或者利用半监督学习在训练中引入大量未标注的查询图像。扩展到多模态少样本检测DSV-LFS 的思路可以自然延伸到少样本目标检测任务。视觉提示可以来自标注框语义提示同样来自类别文本融合后的提示用于指导检测头的预测。7.3 针对实际场景的调整领域自适应如果你要将模型应用于医学图像如 MRI、遥感图像等新领域CLIP 的语义先验可能不匹配。此时可以考虑在该领域的数据上继续预训练 CLIP如果领域数据足够或者使用该领域的专业术语构建领域特定的文本编码器。处理“未知类别”少样本分割通常假设测试类别在训练时完全未知。但在开放世界场景查询图像可能包含训练时见过的“基类”和没见过的“新类”。可以研究如何让模型同时利用基类的知识来帮助新类的分割这需要更精巧的提示设计和知识迁移机制。DSV-LFS 为我们提供了一个强大的少样本分割基线框架。它最核心的启示在于在数据稀缺的背景下融合来自不同模态、不同抽象层次的先验知识是突破性能瓶颈的关键。通过本文的拆解希望你不仅能够复现这个工作更能理解其设计精髓并将其中的“双提示融合”思想应用到你所面临的视觉感知挑战中。