note文章目录note一、研究动机二、GVE1. 诊断性评测基准 (UVRB)2. 大规模合成数据流程 (V-SynFlow)3. 模态金字塔课程学习 (Modality Pyramid)三、模型训练四、实验结果与模型性能Reference一、研究动机Towards Universal Video Retrieval: Generalizing Video Embedding via Synthesized Multimodal Pyramid Curriculum模型https://huggingface.co/Alibaba-NLP/GVE-7B/tree/main当前的视频检索模型面临“结构性错位”的核心痛点。现有的主流范式高度依赖狭窄的基准测试如仅关注粗粒度文本匹配这导致模型训练局限于单一任务和有限的语义分布。这种碎片化现状使得模型在面对复杂的真实场景时泛化能力严重不足具体表现为细粒度理解缺失难以处理复杂的空间关系或时间动态描述。长上下文失效在长视频检索中表现不佳。查询模态受限无法有效支持图像/文本组合查询或纯视觉查询。作者提出了一个由评估、数据和建模共同设计的框架旨在打破这一循环推动视频检索向通用化发展。主流模型分类第一类是传统的 CLIP-based 嵌入模型包括 CLIP4Clip Luo et al. (2022)、ViCLIP Wang et al. (2023)、VideoCLIP-XL Wang et al. (2024a)、LanguageBind Zhu et al. (2024)以及 InternVideo2 系列1 B和 6 B Wang et al. (2024c)。第二类是较新的 MLLM-based 嵌入模型包括 GME-2B Zhang et al. (2025)、Unite-2B Kong et al. (2025)、VLM2Vec-V2 Meng et al. (2025)、BGE-VL Zhou et al. (2024)、UniME-7B Gu et al. (2025)、B3-7B Thiruko-valluru et al. (2025)、GME-7B Zhang et al. (2025)以及 Unite-7B Kong et al. (2025)。二、GVE1. 诊断性评测基准 (UVRB)作者构建了首个涵盖 16 个数据集的通用视频检索基准 (UVRB)。它不再局限于传统的文本到视频检索而是系统性地覆盖了多种查询格式文本 TXT、组合 CMP、视觉 VIS和数据域粗粒度 CG、细粒度 FG、长上下文 LC能够定量衡量模型的综合泛化能力。2. 大规模合成数据流程 (V-SynFlow)为了解决高质量多任务数据匮乏的问题作者设计了 V-SynFlow 流程将海量的弱标注网络视频转化为超过 155 万的高质量检索对 (UVRD)。该流程包含三个阶段多粒度质量控制过滤噪声、跨模态不一致和静态内容。多维信息丰富利用 MLLM 生成侧重空间、时间和风格的多样化字幕。多模态任务扩展构建文本-图像、文本-视频、组合查询等多种任务实例。3. 模态金字塔课程学习 (Modality Pyramid)针对异构多任务数据联合训练的难题作者提出了一种自底向上的课程学习策略。该策略通过探针模型动态估计任务的当前对齐水平初期优先采样对齐良好的基础任务随着训练推进逐渐提高具有挑战性的复杂任务的采样概率从而实现从基础感知到复杂推理的渐进式知识迁移。三、模型训练模型架构训练参数四、实验结果与模型性能作者在 UVRB 上进行了严格的零样本评测主要结论如下列名TXT文本搜视频CMP图文/视频组合查询VIS图片或视频搜视频CG / FG / LC粗粒度、细粒度、长视频S / T / PR空间、时序、部分相关检索总体性能领先如上图提出的 GVE-7B 模型在各项指标上均达到 SOTA。其平均得分AVG-D达到 0.573平均能力得分AVG-A达到 0.600超越了包括 Unite-7B 在内的多个强基线模型。值得注意的是参数量仅为 3.8B 的 GVE-3B 模型也展现出了极具竞争力的性能。关键能力突破GVE 在文本任务 (TXT)、粗粒度 (CG)、细粒度 (FG) 和长上下文 (LC) 检索中均表现出显著的领先优势。消融实验验证移除 UVRD 合成数据会导致组合任务性能大幅下降3B 模型下降约 27%而移除模态金字塔课程则会导致整体优化不足证明了这两项设计缺一不可。Reference[1] 用155万模拟视频给模型上课GVE模型一次学会9种视频检索技能