BLIP BLIP-2 超详细入门解析
BLIP BLIP-2 超详细入门解析1 BLIP / BLIP-2 是干嘛的?1.1 基础概念两者都是图文多模态大模型,核心能力:图片描述(看图说话 Image Caption)图文匹配(图和文本是否对应)视觉问答 VQA(给图+提问,AI看图回答)图文检索(用图搜文字/文字搜图)1.2 BLIP(初代)vs BLIP-2(升级版)核心区别模型架构思路特点适用场景BLIP单阶段统一图文编码器,轻量一体化小模型、推理快、训练简单简单看图说话、轻量VQABLIP-2两阶段分拆:冻结预训练视觉编码器 + 冻结大语言模型 + 中间Q-Former桥接模块更强理解、能理解复杂图文、支持大LLM复杂问答、长文本描述、复杂推理