AAAI 2025 论文精读FAVP——面向生成式医学视觉问答的细粒度自适应视觉提示方法1. 论文信息2. 研究背景什么是 MedVQA3. 现有方法的问题4. 论文核心思想5. 重点术语解释6. FAVP 整体框架7. 模块一Adaptive Visual Prompt Creator8. 模块二Hierarchical Answer Generator9. 为什么要使用 PEFT 和 LoRA10. 三阶段训练策略10.1 Stage 1医学图文对齐10.2 Stage 2大规模医学 VQA 训练10.3 Stage 3下游数据集微调11. 实验数据集12. 实验结果分析13. 消融实验分析13.1 不同 Visual Prompt 的影响13.2 LoRA Rank 的影响13.3 不同训练阶段的影响14. 论文创新点总结14.1 提出 Fine-grained Adaptive Visual Prompt14.2 设计 Adaptive Visual Prompt Creator14.3 提出 Hierarchical Answer Generator15. 论文不足15.1 依赖分割质量15.2 Prompt 类型仍需选择15.3 复杂医学推理仍然困难15.4 泛化能力仍需进一步验证16. 我的理解与启发17. 总结1. 论文信息论文标题Fine-grained Adaptive Visual Prompt for Generative Medical Visual Question Answering中文翻译面向生成式医学视觉问答的细粒度自适应视觉提示方法论文提出了一个名为FAVP的方法全称是Fine-grained Adaptive Visual Prompt中文意思是细粒度自适应视觉提示。它主要用于Generative Medical Visual Question Answering也就是生成式医学视觉问答。这篇论文的核心目标是让大模型在回答医学图像相关问题时不只是粗略地看整张图而是能够更准确地关注图像中的器官、病灶或局部区域从而提升医学问答的准确性。2. 研究背景什么是 MedVQAMedVQA的全称是Medical Visual Question Answering中文是医学视觉问答。它的输入通常包括两部分一张医学图像例如X-rayX 光片、CT计算机断层扫描、MRI磁共振成像、眼底图像等一个自然语言问题例如“病灶在哪里”、“图像中是否存在异常”、“该图像的糖尿病黄斑水肿等级是多少”模型需要根据医学图像内容回答问题。例如Input: 医学图像 问题Where is the lesion located? Output: Right cerebellopontine angle也就是说MedVQA 不只是普通的图像问答它要求模型同时具备医学图像理解能力语言理解能力图像与文本之间的跨模态对齐能力医学知识推理能力。3. 现有方法的问题传统 MedVQA 方法大多把任务看成一个分类问题也就是从固定答案集合中选择答案。这种方法叫Discriminative Method判别式方法它的优点是训练和评估相对简单但缺点也很明显答案空间被限制住了。例如如果候选答案集合中没有正确答案模型就不可能回答正确。因此这类方法并不适合真实医疗场景中的开放式问题。后来研究者开始使用大语言模型也就是LLMLarge Language Model大语言模型结合 LLM 的方法通常被称为Generative Method生成式方法生成式方法不再从固定答案表中选择而是直接生成自然语言答案。这种方式更接近真实医疗问答场景。但是生成式 MedVQA 仍然存在一个核心问题医学图像中有大量背景噪声而真正有用的病灶或器官区域往往很小模型很容易看错地方。这就是论文强调的Fine-grained organ-level precise localization细粒度器官级精确定位简单来说就是模型不仅要看懂图还要知道“应该看哪里”。4. 论文核心思想这篇论文的核心思想可以概括为一句话在医学图像上加入视觉提示让大模型在回答问题之前先学会关注关键区域。这里的关键概念是Visual Prompt视觉提示它不是文本提示词而是在图像中加入一些视觉标记例如Circle圆圈Box边界框Mask掩码Contour轮廓Keypoint关键点这些视觉提示可以帮助模型定位医学图像中的重要区域。举个简单例子如果问题是Where is the lesion located?模型直接看整张图可能会受到背景干扰。但如果图像中病灶区域被圆圈或轮廓标出来模型就更容易关注正确区域从而生成更准确的答案。5. 重点术语解释English Term中文意思解释FAVP细粒度自适应视觉提示论文提出的核心方法用视觉提示增强医学视觉问答。MedVQA医学视觉问答根据医学图像和问题生成答案的任务。Generative MedVQA生成式医学视觉问答模型直接生成自然语言答案而不是从固定答案中分类选择。Discriminative Method判别式方法从预定义答案集合中选择答案本质上更接近分类任务。Generative Method生成式方法直接生成自然语言答案更适合开放式医学问答。Visual Prompt视觉提示在图像中加入圆圈、框、掩码、轮廓等提示引导模型关注关键区域。Language Prompt语言提示通过文本指令引导模型回答问题。Fine-grained细粒度关注器官、病灶、局部组织等更小尺度的信息。Adaptive自适应根据不同图像或数据集选择更合适的提示方式。Cross-modal Localization跨模态定位根据文本问题在图像中找到对应的视觉区域。LLM大语言模型用于理解问题并生成答案的语言模型。PEFT参数高效微调只训练少量参数降低大模型微调成本。LoRA低秩适配一种常用的 PEFT 方法通过低秩矩阵实现高效微调。6. FAVP 整体框架论文提出的 FAVP 框架主要包含两个模块Adaptive Visual Prompt Creator, AVPC自适应视觉提示生成器Hierarchical Answer Generator, HAG层次化答案生成器整体流程如下医学图像 问题 ↓ AVPC 生成局部视觉提示 ↓ 得到 mask / circle / box / contour 等候选提示 ↓ HAG 提取局部特征和全局特征 ↓ 映射到语言空间 ↓ LLM 生成医学答案这个框架的关键在于模型不是盲目地看整张图而是在视觉提示的帮助下重点关注医学相关区域。7. 模块一Adaptive Visual Prompt CreatorAdaptive Visual Prompt Creator简称AVPC中文是自适应视觉提示生成器。这个模块的作用是自动从医学图像中生成可能有用的局部区域提示。医学 VQA 数据集通常没有提供病灶或器官的精确标注所以论文不能直接使用人工标注的框或 mask。为了解决这个问题作者使用了Grid-wise Keypoints网格关键点也就是在图像上均匀生成一组关键点然后利用这些关键点引导医学图像分割模型生成 mask。论文中使用的分割模型是SAM-Med2D医学图像版本的 Segment Anything ModelAVPC 的大致步骤如下原始医学图像 ↓ 生成网格关键点 ↓ 输入 Image Encoder 和 Prompt Encoder ↓ 使用 SAM-Med2D 生成 Global Mask ↓ 将 Global Mask 分割为多个 Local Mask ↓ 生成不同类型的 Visual Prompt其中Global Mask全局掩码表示覆盖相关器官或区域的大范围 mask。Local Mask局部掩码表示单个器官、病灶或局部区域。NMS Threshold非极大值抑制阈值用于筛选候选区域。如果阈值设置不合适可能会漏掉重要区域。AVPC 的意义在于即使没有人工标注模型也可以自动构造“应该看哪里”的视觉线索。8. 模块二Hierarchical Answer Generator第二个模块是Hierarchical Answer Generator, HAG层次化答案生成器它的作用是根据 AVPC 生成的视觉提示和原始图像提取图像特征并生成答案。HAG 主要包含Shared ViT共享视觉 TransformerHierarchical Extractor层次化特征提取器LLM大语言模型这里的ViT指的是Vision Transformer视觉 Transformer它负责提取图像特征。HAG 会同时提取两类信息Local Representation局部表示 Global Representation全局表示其中Local Representation局部表示表示病灶、器官等局部区域的视觉特征。Global Representation全局表示表示整张医学图像的整体语义信息。随后模型会将局部特征和全局特征融合并通过Q-Former和线性层映射到语言空间形成可以输入给 LLM 的视觉 token。Visual Token视觉 token指的是把图像信息转换成类似文本 token 的表示使大语言模型可以理解图像内容。最后LLM 根据视觉 token 和问题文本生成医学答案。9. 为什么要使用 PEFT 和 LoRA医学大模型通常参数量很大如果直接全参数微调会带来几个问题训练成本高显存占用大容易破坏原模型已有能力对数据规模要求更高。因此论文采用了PEFTParameter-Efficient Fine-Tuning参数高效微调其中具体使用的是LoRALow-Rank Adaptation低秩适配LoRA 的核心思想是冻结原模型的大部分参数只训练少量新增的低秩矩阵。这样可以在较低训练成本下让模型适配医学场景。论文中FAVP 只需要约0.1B可训练参数相比 LLaVA-Med 这类 7B 规模模型训练成本更低但性能仍然很强。10. 三阶段训练策略论文采用了三阶段训练策略让模型逐步从通用多模态能力过渡到医学视觉问答能力。10.1 Stage 1医学图文对齐第一阶段使用ROCO数据集。目标是让模型学习医学图像和医学文本描述之间的对应关系。可以理解为让模型先学会医学图像和医学文本如何对应10.2 Stage 2大规模医学 VQA 训练第二阶段使用PMC-VQA数据集。目标是让模型进一步学习医学视觉问答任务。可以理解为让模型学会如何根据医学图像回答问题10.3 Stage 3下游数据集微调第三阶段在三个下游数据集上进行训练和评估VQA-RADSLAKEDME可以理解为让模型适配具体医学 VQA 数据集三阶段训练整体如下Stage 1医学图文对齐 Stage 2医学问答能力学习 Stage 3下游任务微调与评估11. 实验数据集论文主要在三个数据集上进行实验。Dataset中文说明特点VQA-RAD放射学视觉问答数据集包含 X-ray、CT、MRI 等图像问题。SLAKE医学视觉问答数据集包含语义标注和医学知识信息。DME糖尿病黄斑水肿数据集偏眼科图像关注准确率和一致性。12. 实验结果分析在VQA-RAD数据集上FAVP 的表现明显优于已有生成式方法。其中FAVP from Vicuna 在 open-set 问题上达到71.9closed-set 问题上达到88.2。相比之下LLaVA-Med 的 open-set 为64.8closed-set 为83.1。这说明 FAVP 在开放式医学问答中有明显优势。在SLAKE数据集上FAVP from Vicuna 的 open-set 为87.2closed-set 为88.1同样超过已有生成式方法。在DME数据集上FAVP 达到Accuracy84.73 Consistency97.82其中Accuracy准确率Consistency一致性医学问答中的一致性非常重要。因为同一张医学图像可能会被问多个相关问题如果模型前后回答矛盾就会降低临床可信度。13. 消融实验分析13.1 不同 Visual Prompt 的影响论文比较了多种视觉提示方式Prompt Type中文意思解释Mask掩码直接突出目标区域。Circle圆圈用圆形标记目标区域。Box边界框用矩形框住目标区域。Contour轮廓标出目标边界。Keypoint关键点用点提示目标位置。Blur Mask模糊掩码通过模糊方式突出目标区域。Blur Circle Mask模糊圆形掩码结合圆形提示和模糊处理。Blur Box Mask模糊框形掩码结合边界框和模糊处理。实验结果表明大多数视觉提示都能提升模型性能。其中在VQA-RAD上Circle在 open-set 问题上表现最好在SLAKE上Contour在 open-set 问题上表现最好不使用视觉提示即w/o Prompt整体表现更弱。这说明视觉提示不是简单的图像装饰而是真的帮助模型完成区域定位和答案生成。13.2 LoRA Rank 的影响论文还分析了不同LoRA Rank对性能的影响。LoRA RankLoRA 秩它可以理解为 LoRA 适配层的容量。如果 rank 太小模型适应医学领域的能力不足如果 rank 太大又可能引入过多可训练参数影响原模型已有知识。论文发现ViT 的 LoRA rank 设置为 4 时较优 LLM 的 LoRA rank 设置为 8 时较优这说明 PEFT 并不是参数越多越好而是需要在领域适配能力和模型稳定性之间取得平衡。13.3 不同训练阶段的影响论文还验证了 Stage 1 和 Stage 2 是否必要。结果表明只使用 Stage 1 效果不好只使用 Stage 2 也不是最优Stage 1 Stage 2 Stage 3 同时使用时效果最好。这说明医学多模态模型不能只依赖最后一个数据集微调而需要先学习医学图文对齐再学习医学问答最后适配具体任务。14. 论文创新点总结我认为这篇论文的主要创新点有三个。14.1 提出 Fine-grained Adaptive Visual Prompt论文提出了Fine-grained Adaptive Visual Prompt也就是细粒度自适应视觉提示。它的作用是帮助模型在医学图像中关注局部关键区域从而提升生成式医学视觉问答的准确性。14.2 设计 Adaptive Visual Prompt Creator论文提出了Adaptive Visual Prompt Creator, AVPC。它可以在没有人工标注的情况下自动生成器官级或病灶级的视觉提示。这对于医学任务很重要因为医学数据的精细标注成本通常非常高。14.3 提出 Hierarchical Answer Generator论文提出了Hierarchical Answer Generator, HAG。它同时利用局部区域特征和全局图像特征再将这些视觉信息映射到语言空间让 LLM 生成答案。这使得模型既能关注局部病灶又不会丢失整张图像的上下文信息。15. 论文不足虽然 FAVP 的效果不错但它也存在一些不足。15.1 依赖分割质量FAVP 的视觉提示依赖 SAM-Med2D 生成的 mask。如果初始 mask 生成不准确后续视觉提示可能会误导模型。15.2 Prompt 类型仍需选择虽然论文强调 adaptive但不同数据集最优的 visual prompt 类型并不完全相同。例如VQA-RAD 更适合 Circle SLAKE 更适合 Contour这说明在实际应用中仍然可能需要根据数据集特点选择合适的视觉提示形式。15.3 复杂医学推理仍然困难论文中的定性实验显示在 DME 等需要复杂医学知识推理的任务上FAVP 仍然可能出错。这说明当前多模态大模型虽然可以借助视觉提示改善定位能力但在专业医学推理方面仍有提升空间。15.4 泛化能力仍需进一步验证论文主要在 X-ray、CT、MRI、眼底图像等常见医学模态上验证。未来还需要在更多医学模态上测试例如PET scansPET 扫描Mammography乳腺影像Histopathological images病理图像16. 我的理解与启发这篇论文的价值不只是提出了一个新的 MedVQA 模型而是提出了一个很重要的方向在医学多模态任务中视觉提示可能比单纯的文本提示更加关键。对于普通图像大模型可能只靠文本 prompt 就能较好理解图像内容。但是医学图像具有特殊性病灶小 背景噪声大 器官结构复杂 图像模态多样 问题往往指向局部区域 答案需要医学知识因此如果模型只是看整张图很容易受到无关区域干扰。FAVP 的思路是先通过视觉提示帮助模型定位关键区域再利用大语言模型的生成能力回答问题。这个思想对后续医学多模态研究很有启发。例如在以下任务中都可以考虑引入 visual prompt医学图像报告生成病灶定位问答超声图像解释CT/MRI 辅助诊断眼底图像病变分析医学多模态大模型微调。17. 总结FAVP 的核心贡献可以总结为通过自动生成细粒度视觉提示让生成式医学视觉问答模型在回答问题之前先学会“看准哪里”从而提升开放式医学问答中的定位能力和答案质量。简单来说这篇论文解决的不是“怎么让模型说得更多”而是怎么让模型先看对地方再生成答案。这也是医学多模态任务中非常关键的一点。