note更多参考如何实现多模态对齐与融合多模态学习的三大坑及解决方案1、模态间梯度冲突训练崩溃的隐形杀手2、预训练-微调时的模态偏差强势模态压制弱势模态3、多模态评估中的虚假关联高分不代表强理解文章目录note一2025年进展和趋势一、新模型趋势任意模态模型推理模型小巧但功能强大的模型专家混合解码器视觉-语言-行动模型 VLA二、特殊能力视觉语言模型中的目标检测、分割和计数多模态安全模型多模态RAG检索器和重排器三、多模态agent四、视频语言模型五、视觉语言模型的新对齐技术六、新基准测试MMT-BenchMMMU-Pro二2026年进展和趋势1、核心论点2、六大未来方向3、根本挑战三VLM训练技巧1、vlm的训练trick2、多模态学习的三大坑及解决方案1模态间梯度冲突训练崩溃的隐形杀手2预训练-微调时的模态偏差强势模态压制弱势模态3多模态评估中的虚假关联高分不代表强理解Reference一2025年进展和趋势一、新模型趋势任意模态模型任意模态模型能够接受任何模态的输入并输出任何模态图像、文本、音频。它们通过模态对齐来实现这一点。典型的全模态模型Qwen 2.5 OmniQwen2.5-Omni采用了一种新颖的“思考者-说话者”架构其中“思考者”负责文本生成而“说话者”则以流式方式产生自然语音响应。MiniCPM-o 2.6是一个拥有80亿参数的多模态模型能够理解并生成视觉、语音和语言模态的内容。DeepSeek AI推出的Janus-Pro-7B是一个统一的多模态模型在跨模态的理解和生成方面表现出色。它采用了分离的视觉编码架构将理解过程与生成过程分开。推理模型直到2025年5月唯一一个开源的多模态推理模型是Qwen的QVQ-72B-preview。Moonshot AI团队的Kimi-VL-A3B-Thinking。它由MoonViTSigLIP-so-400M作为图像编码器以及一个拥有160亿总参数、仅28亿活跃参数的专家混合MoE解码器组成。该模型是Kimi-VL基础视觉语言模型的长链推理微调版本并进一步通过强化学习进行了对齐。作者还发布了一个指令微调版本名为Kimi-VL-A3B-Instruct。该模型可以接受长视频、PDF文件、屏幕截图等输入并且还具备代理能力。小巧但功能强大的模型通过增加模型参数数量和高质量合成数据来提升智能水平但模型越大收益边际效益越小所以可以通过知识蒸馏等缩小模型规模。小型视觉语言模型通常指的是参数少于20亿、可以在消费级GPU上运行的模型。1SmolVLM是一个小型视觉语言模型家族的典型代表。它没有通过缩小大型模型来实现而是直接尝试将模型参数数量控制在极低水平如2.56亿、5亿和22亿。例如SmolVLM2试图在这些规模下解决视频理解问题并发现5亿参数是一个很好的折中方案。在Hugging Face我们开发了一款名为HuggingSnap的iPhone应用程序以证明这些规模的模型可以在消费级设备上实现视频理解。2谷歌DeepMind的gemma3-1b-it。它特别令人兴奋因为它是目前最小的多模态模型之一拥有32k的上下文窗口并支持140多种语言。该模型属于Gemma 3模型家族其中最大的模型在Chatbot Arena上排名第一。随后该大型模型被蒸馏为一个10亿参数的变体。3虽然不是最小的模型但Qwen2.5-VL-3B-Instruct也值得关注。该模型可以执行多种任务包括定位目标检测和指向、文档理解以及代理任务上下文长度可达32k个标记。# 可以通过MLX和Llama.cpp集成来使用小型模型。对于MLX假设您已经安装了它您可以通过以下一行代码开始使用SmolVLM-500M-Instructpython3-m mlx_vlm.generate--model HuggingfaceTB/SmolVLM-500M-Instruct--max-tokens400--temp0.0--image https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/vlm_example.jpg--promptWhat is in this image?# 可以通过以下一行代码使用GGUF格式的gemma-3-4b-it模型通过CLI和Llama.cpp开始使用llama-mtmd-cli-hf ggml-org/gemma-3-4b-it-GGUF# 可以通过以下命令将同一模型作为服务运行llama-server-hf ggml-org/gemma-3-4b-it-GGUF专家混合解码器专家混合MoEs模型通过动态选择并激活与给定输入数据片段最相关的子模型称为“专家”来处理数据。与参数密集的同类模型相比MoEs在推理时速度更快因为它们只激活网络中的一小部分。它们在训练时也能快速收敛。然而MoEs需要更高的内存成本因为整个模型都存储在GPU上即使只使用其中的一小部分。在广泛采用的Transformer架构中MoE层通常是通过替换每个Transformer块中的标准前馈网络FFN层来集成的。密集网络在推理时会使用整个模型而同样大小的MoE网络则会选择性地激活一些专家。这有助于更好地利用计算资源并加快推理速度。配备专家混合解码器的视觉语言模型似乎具有增强的性能。例如Kimi-VL目前是最先进的开源推理模型它采用了专家混合解码器。专家混合在MoE-LLaVA的效率提升和幻觉减少以及DeepSeek-VL2的广泛多模态能力方面也显示出令人鼓舞的结果。最新版本的LlamaLlama 4是一个具有视觉能力的MoE。专家混合作为解码器是一个有前景的研究领域我们预计这类模型的数量将会增加。视觉-语言-行动模型 VLAVLAs接受图像和文本指令作为输入并返回指示机器人直接采取行动的文本。VLAs通过添加行动和状态标记扩展了视觉语言模型以与物理环境进行交互和控制。这些额外的标记代表了系统的内部状态它如何感知环境、行动根据命令采取的行动以及与时间相关的信息例如任务中步骤的顺序。这些标记被附加到视觉语言输入中以生成行动或策略。VLAs通常是在基础VLM之上进行微调的。有些人进一步扩展了这一定义将VLAs定义为任何与现实或数字世界进行视觉交互的模型。在这个定义下VLAs可以用于UI导航或代理工作流程。但许多人认为这些应用属于VLM领域。π0和π0-FAST是Physical Intelligence推出的首批机器人基础模型已移植到Hugging Face的LeRobot库中。这些模型在7个机器人平台上针对68项独特任务进行了训练。它们在复杂的真实世界活动中表现出强大的零样本和微调性能例如洗衣折叠、餐桌清理、杂货装袋、盒子组装和物体检索。GR00T N1是NVIDIA的开源VLA基础模型用于通用人形机器人。它能够理解图像和语言并将其转化为行动例如移动手臂或遵循指令这得益于一个将智能推理与实时运动控制相结合的系统。GR00T N1也基于LeRobot数据集格式构建这是一种简化机器人演示共享和训练的开放标准。二、特殊能力视觉语言模型中的目标检测、分割和计数VLMs能够在传统计算机视觉任务上实现泛化。如今模型可以接受图像和各种提示如开放式文本并输出带有定位标记的结构化文本用于检测、分割等。去年PaliGemma是首个尝试解决这些任务的模型。该模型接受图像和文本输入其中文本是对感兴趣对象的描述以及一个任务前缀。文本提示看起来像“segment striped cat”分割条纹猫或“detect bird on the roof”检测屋顶上的鸟。对于检测任务模型以标记的形式输出边界框坐标。而对于分割任务模型则输出检测标记和分割标记。这些分割标记并不是所有分割像素的坐标而是由变分自编码器解码的码本索引该自编码器被训练用来将这些标记解码为有效的分割掩码如下图所示。在PaliGemma之后许多模型被引入用于执行定位任务。去年年底PaliGemma的一个升级版本PaliGemma 2出现了它具有相同的能力但性能更好。另一个后来出现的模型是Allen AI的Molmo它可以使用点来指向实例并计数对象实例。Qwen2.5-VL也能够检测、指向和计数对象这包括将UI元素作为对象进行处理多模态安全模型2025年初谷歌推出了首个开源多模态安全模型ShieldGemma 2。它基于文本安全模型ShieldGemma构建。该模型接受图像和内容策略作为输入并返回图像是否符合给定策略的安全性判断。策略是指图像不适当的标准。ShieldGemma 2还可以用于过滤图像生成模型的输出。Meta的Llama Guard 4是一个密集的多模态和多语言安全模型。它是从Llama 4 Scout一个多模态专家混合模型密集修剪而来并进行了安全微调。该模型可用于纯文本和多模态推理。该模型还可以接受视觉语言模型的输出、完整的对话内容并在将它们发送给用户之前对其进行过滤。多模态RAG检索器和重排器检索增强生成RAG在多模态领域是如何发展的。对于复杂的文档通常以PDF格式呈现RAG的处理过程通常分为三个步骤将文档完全解析为文本将纯文本和查询传递给检索器和重排器以获取最相关的文档将相关上下文和查询传递给LLM传统的PDF解析器由多个元素组成以保留文档中的结构和视觉元素如布局、表格、图像、图表等所有这些元素都被渲染成Markdown格式。但这种设置很难维护。随着视觉语言模型的兴起这个问题得到了解决现在有了多模态检索器和重排器。多模态检索器接受一堆PDF文件和一个查询作为输入并返回最相关的页面编号及其置信度分数。这些分数表示页面包含查询答案的可能性或者查询与页面的相关性。这绕过了脆弱的解析步骤。然后将最相关的页面与查询一起输入视觉语言模型VLM生成答案。主要有两种多模态检索器架构文档截图嵌入DSEMCDSEColBERT类模型ColPali、ColQwen2、ColSmolVLMDSE模型由一个文本编码器和一个图像编码器组成每个查询返回一个向量。返回的分数是嵌入向量点积的softmax。它们为每个段落返回一个向量。ColBERT类模型如ColPali也是双编码器模型但有一个特点ColPali使用视觉语言模型作为图像编码器使用大型语言模型作为文本编码器。这些模型本质上不是编码器但它们输出嵌入向量然后传递给“MaxSim”。与DSE不同这些模型的输出是每个标记的一个向量而不是一个单一向量。在MaxSim中计算每个文本标记嵌入向量与每个图像块嵌入向量之间的相似度这种方法能够更好地捕捉细微差别。正因为如此ColBERT类模型的计算成本更高但性能更好。以下是ColPali的索引延迟情况。由于它只是一个单一模型因此也更容易维护。该任务最受欢迎的基准测试是ViDoRe它包含英文和法文的文档文档类型从财务报告、科学图表到行政文件不等。ViDoRe中的每个示例都包含文档图像、查询和可能的答案。文档与查询的匹配有助于对比预训练因此ViDoRe训练集被用于训练新模型。三、多模态agent许多视觉语言模型发布它们能够理解和操作用户界面UI。其中最新的是ByteDance的UI-TARS-1.5它在浏览器、计算机和手机操作方面取得了出色的结果。它还可以进行推理游戏并在开放世界游戏中运行。今年的另一个重要发布是MAGMA-8B它是一个用于UI导航和与现实世界进行物理交互的基础模型。此外Qwen2.5-VL尤其是其32B变体因为它在代理任务上进行了进一步训练和Kimi-VL推理模型在GUI代理任务上表现出色。2025年初我们推出了smolagents这是一个新的轻量级代理库实现了ReAct框架。不久之后我们为该库增加了视觉语言支持。这种集成发生在两个用例中在运行开始时一次性提供图像。这对于带有工具使用的文档AI很有用。动态检索图像。这对于需要VLM代理进行GUI控制的情况很有用因为代理需要反复截取屏幕截图。该库为用户提供构建自己的图像理解代理工作流程的构建块。我们提供了不同的脚本和单行CLI命令以便用户轻松开始。1对于第一种情况假设我们希望一个代理描述文档这并不太具有代理性但对于最小化用例来说还不错。您可以像下面这样初始化CodeAgent一个可以自己编写代码的代理agentCodeAgent(tools[],modelmodel)# 不需要工具agent.run(Describe these documents:,images[document_1,document_2,document_3])2对于第二种情况我们需要一个代理来获取屏幕截图我们可以定义一个回调函数在每个ActionStep结束时执行。对于您自己的需要动态获取图像的用例您可以根据需要修改回调函数。为了简单起见这里我们不详细定义它。您可以选择阅读博客文章和博客文章末尾的脚本。现在让我们看看如何初始化带有回调和浏览器控制步骤的代理。defsave_screenshot(memory_step:ActionStep,agent:CodeAgent)-None: 截取屏幕截图并写入观察结果。 png_bytesdriver.get_screenshot_as_png()memory_step.observations_images[image.copy()]# 将图像持久化到memory_stepurl_infof当前网址{driver.current_url}memory_step.observations(url_infoifmemory_step.observationsisNoneelsememory_step.observations\nurl_info)returnagentCodeAgent(tools[go_back,close_popups,search_item_ctrl_f],# 传递导航工具modelmodel,additional_authorized_imports[helium],step_callbacks[save_screenshot],# 传递回调)# CLI命令webagent前往 xyz.com/men进入销售部分点击您看到的第一件服装。获取产品详情和价格并返回它们。注意我正在从法国购物可以通过运行以下CLI命令来尝试整个示例。它启动一个代理该代理通过视觉语言模型控制网络浏览器以完成网络自动化任务请替换为您想要导航的网站。smolagents提供了不同类型的模型例如本地Transformer模型、使用推理提供商托管的开源模型或闭源模型提供商的端点。我们鼓励使用开源模型因为许多代理工作流程目前需要推理这从拥有大量参数的模型中受益。截至2025年4月Qwen 2.5 VL是一个适合代理工作流程的候选模型因为该模型在代理任务上进行了进一步训练。四、视频语言模型大多数视觉语言模型都能够处理视频因为视频可以表示为一系列帧。然而视频理解是棘手的因为帧之间存在时间关系而且帧的数量通常很多因此需要使用不同的技术来选择一组具有代表性的视频帧。一个很好的例子是Meta的LongVU模型。它通过将视频帧传递给DINOv2来降低采样率以选择最相似的帧并将其去除然后模型进一步通过根据文本查询选择最相关的帧来细化帧其中文本和帧都被投影到同一个空间并计算相似度。Qwen2.5VL能够处理长上下文并适应动态帧率因为该模型是用不同帧率的视频进行训练的。通过扩展的多模态RoPE它能够理解帧的绝对时间位置并且可以处理不同的速率同时仍然能够理解现实生活中事件的速度。另一个模型是Gemma 3它可以接受在文本提示中交错的时间戳和视频帧例如“Frame 00.00: …”并且在视频理解任务中表现非常出色。五、视觉语言模型的新对齐技术偏好优化是一种替代的语言模型微调方法也可以扩展到视觉语言模型。这种方法不依赖于固定的标签而是专注于根据偏好比较和排名候选响应。trl库提供了对直接偏好优化DPO的支持包括对VLMs的支持。以下是VLM微调的DPO偏好数据集的结构示例。每个条目由一个图像问题对以及两个对应的答案组成一个被选中的答案和一个被拒绝的答案。VLM被微调以生成与首选被选中答案一致的响应。RLAIF-V是一个用于此过程的示例数据集它包含超过83000个按照上述结构标注的样本。每个条目包括一个图像列表通常是一个图像、一个提示、一个被选中的答案和一个被拒绝的答案正如DPOTrainer所期望的那样。这里有一个已经按照相应格式格式化的RLAIF-V格式数据集。以下是单个样本的示例{images:[PIL.JpegImagePlugin.JpegImageFile image modeL size980x812 at0x154505570],prompt:[{content:[{text:null,type:image},{text:What should this catcher be using?,type:text}],role:user}],rejected:[{content:[{text:The catcher, identified by the number...,type:text}],role:assistant}],chosen:[{content:[{text:The catcher in the image should be using a baseball glove...,type:text}],role:assistant}]}准备好数据集后您可以使用trl库中的_DPOConfig_和_DPOTrainer_类来配置并启动微调过程。以下是使用_DPOConfig_的示例配置fromtrlimportDPOConfig training_argsDPOConfig(output_dirsmolvlm-instruct-trl-dpo-rlaif-v,bf16True,gradient_checkpointingTrue,per_device_train_batch_size1,per_device_eval_batch_size1,gradient_accumulation_steps32,num_train_epochs5,dataset_num_proc8,# tokenization will use 8 processesdataloader_num_workers8,# data loading will use 8 workerslogging_steps10,report_totensorboard,push_to_hubTrue,save_strategysteps,save_steps10,save_total_limit1,eval_steps10,# Steps interval for evaluationeval_strategysteps,)要使用_DPOTrainer_训练您的模型您可以选择提供一个参考模型来计算奖励差异。如果您使用的是参数高效微调PEFT则可以通过设置_ref_modelNone_来省略参考模型。fromtrlimportDPOTrainer trainerDPOTrainer(modelmodel,ref_modelNone,argstraining_args,train_datasettrain_dataset,eval_datasettest_dataset,peft_configpeft_config,tokenizerprocessor)trainer.train()六、新基准测试在之前MMMU和MMBench作为评估视觉语言模型的两个新兴基准测试但随着模型发展现在这些benchmark已经趋于饱和。MMT-BenchMMT-Bench旨在评估VLMs在需要专业知识、精确视觉识别、定位、推理和规划的广泛多模态任务上的表现。该基准测试包括来自各种多模态场景的31325个多选视觉问题涵盖图像、文本、视频和点云等多种模态。它包含32个不同的元任务和162个子任务涵盖了OCR、视觉识别或视觉-语言检索等多种任务。MMMU-ProMMMU-Pro是原始MMMU基准测试的改进版本。它还评估先进AI模型在多种模态上的真实理解能力。它比MMMU更复杂例如它有一个仅视觉输入的设置并且候选选项的数量从4个增加到了10个。该基准测试还纳入了真实世界模拟其仅视觉问题来源于在模拟显示屏内截取的屏幕截图或照片具有不同的背景、字体样式和大小以模拟真实世界条件。二2026年进展和趋势参考思考多模态理解可能的未来从描述世界到进入世界核心观点是当前多模态理解看图问答、视频描述只是初级阶段真正的未来是从描述静态世界进化到进入并参与动态真实世界。1、核心论点现阶段的 MLLMLLaVA 类是视觉挂接到语言模型上能答 benchmark 题但离真实世界智能还远——真实世界是连续流动、需记忆、需行动的。多模态理解的未来应从静态离线问答 → 动态在线、有长期记忆、能决策协作的世界理解系统。2、六大未来方向#方向通俗解释1原生多模态Native MM不再先训纯语言后挂视觉编码器而是预训练阶段就统一建模图文音视频甚至直接把像素 patchify 进统一 Transformer——让模型真正以视觉方式学世界知识而非读视觉摘要2流式视频理解Streaming Video放弃抽帧图片的思路模型像人一样边看边更新状态处理速度/碰撞/因果等动态信息支持 AR、机器人、自动驾驶的实时传感器流3极长时序事件化记忆不止看长视频而是跨天数周建事件化→语义索引→联想召回的长期记忆如前天把钥匙放玄关而非无限塞 context window4多模态检索特别是视频未来知识大量在视频里需支持镜头/片段/事件级多粒度索引用文字/视频/经历跨模态找第几分钟发生什么操作“和上周哪段相似”5理解作 Critic 监督生成强多模态理解应给文生图/视频当 Reward Model/Critic——判语义符合度、时序连贯性、物理合理性重力/碰撞/接触还能诊断第几秒哪错了帮世界模型迭代6空间智能与具身决策从看图说话到理解三维几何/空间约束→输出动作抓取、避障目前 MLLM 偏语义弱空间需新架构和数据突破3、根本挑战评测错位benchmark 是静态离线问答真实任务是流式理解/物理判断/长期记忆/具身决策需重写评价体系。记忆管理无限流输入下须学会记什么、忘什么、压缩什么、何时召回。总结多模态理解的终局不是看图更准而是长成能流式感知世界、记住经历、检索知识、判断物理合理性、并指导行动的现实世界智能入口。三VLM训练技巧1、vlm的训练trick1️⃣数据预处理与对齐策略多模态数据预处理远比单模态复杂关键在于模态间的对齐和同步。除了传统的标准化处理还需要考虑时间对齐如视频音频同步、语义对齐如图文配对质量和尺度对齐。现代做法通常采用模态特定的编码器如Vision Transformer处理图像RoBERTa处理文本然后通过可学习的投影层将不同模态映射到统一的特征空间。数据清洗也至关重要需要过滤掉模态间不匹配或质量较差的样本。2️⃣先进的模态融合架构传统的早期/晚期融合已无法满足现代需求当前主流方法包括交叉注意力机制让不同模态间进行细粒度交互多模态Transformer架构通过自注意力和交叉注意力实现深层融合图神经网络方法将多模态数据建模为异构图。特别值得关注的是CLIP-style的对比学习架构通过对比损失学习模态间的语义对齐已成为多模态预训练的标准范式。3️⃣共享表示空间的设计原则构建有效的共享表示空间需要考虑多个因素维度选择、距离度量和语义保持。现代方法通常采用对比学习来学习共享空间通过拉近正样本对、推远负样本对来优化表示质量。关键技巧包括温度参数调节、困难负样本挖掘、多层次对比。此外还可以引入模态特定的投影头在保持共性的同时保留各模态的独特信息。4️⃣模态平衡与训练稳定性多模态训练中最大的挑战是模态间的不平衡问题。有效的解决方案包括动态损失加权根据各模态的学习进度自适应调整权重梯度调制技巧防止某个模态主导整个训练过程模态dropout策略随机屏蔽某些模态来提升鲁棒性分阶段训练先单独预训练各模态编码器再进行联合微调。这些技巧能有效提升训练稳定性和最终性能。5️⃣高效的训练策略组合现代多模态训练需要综合运用多种技巧混合精度训练减少显存占用梯度累积处理大batch训练学习率预热和余弦退火优化收敛数据增强策略包括模态特定增强和跨模态增强。正则化技术如DropPath、LayerDrop等防止过拟合。特别重要的是采用预训练-微调的两阶段策略大规模无监督预训练后在下游任务上精调。2、多模态学习的三大坑及解决方案多模态学习的三大坑及解决方案1模态间梯度冲突训练崩溃的隐形杀手问题描述 多模态训练时图像和文本的梯度经常打架方向相反导致优化过程像拔河一样特别是CLIP这类对比学习模型更容易踩坑。训练不稳定甚至直接崩掉。✅解决方案梯度正交化投影把冲突的梯度成分剔除掉让更新方向更协调自适应损失平衡根据梯度相似度实时调权重。2025年还出现了模态解耦训练策略分阶段训练不同模态避免早期冲突。2预训练-微调时的模态偏差强势模态压制弱势模态问题描述 预训练阶段文本往往霸道总裁压制视觉特征。到了下游任务微调时弱势模态基本成了摆设模型过度依赖强势模态。✅解决方案模态均衡LoRA是目前比较好用的方法给不同模态设计专门的适配器。对抗性模态dropout训练时随机屏蔽强势模态逼着模型学会用弱势模态。最新的渐进式模态融合策略也很有效从单模态逐步过渡到多模态。3多模态评估中的虚假关联高分不代表强理解问题描述 测试集里的统计偏见让模型投机取巧比如看到狗就联想宠物刷高了指标但理解能力很水。这种虚假关联在实际应用中很危险。✅解决方案反事实测试集是必备的故意构造模态矛盾样本来拆台。因果解耦评估能量化真实的模态依赖关系2025年新兴的多粒度对抗评估更全面从像素到语义多层次挑战模型。✅多模态学习这三个坑确实很深但随着技术发展解决方案也在不断进步。关键是要在训练、微调、评估三个环节都保持警惕用对方法就能让模型更稳定、更可靠。Reference[1] Vision Language Models (Better, Faster, Strongerhttps://huggingface.co/blog/vlms-2025 20250512发布