note任务给一段查询视频再给一段较长目标视频模型要找出目标视频里与查询视频语义相同的那一段并输出开始、结束时间。模型有两个预测头前景/背景分类头判断目标视频中每个时间点是否属于匹配动作。边界预测头预测该片段距离开始、结束边界的偏移。使用 Soft-DTW 做两次序列对齐Pre-fusion alignment在 Transformer 融合前对原始查询帧和目标帧进行对齐。作用是先找到哪些目标帧在视觉和动作语义上可能对应查询视频。Post-fusion alignment经过 Transformer 让两段视频充分交互后再做一次对齐。这一步利用了上下文更精细地判断查询动作在目标视频中真正对应哪一段连续帧。自监督训练作者从一段无标注视频里随机裁剪一个片段作为 query然后让模型在原视频中重新定位它文章目录note一、研究动机二、MATR1、特征提取与融合2、双阶段序列对齐3、解码预测与自监督预训练三、训练过程四、实验效果Reference一、研究动机Aligning Moments in Time using Video QueriesICCV 2025虽然现有的文本到视频时刻检索研究较多但在实际应用中用户往往难以用文字精准描述复杂的动态视觉动作。例如在足球比赛中寻找“倒钩射门”普通观众很难用语言复现其腾空、翻转、踢球的完整动作细节而直接提供一个简短的视频片段则能保留丰富的时空信息让检索更加自然和高效。因此论文聚焦于 Vid2VidMR 任务。该任务在体育赛事分析、教育内容制作和监控系统等领域具有极高的应用潜力。然而它面临着巨大的技术挑战模型不仅需要理解视频的高层语义还必须克服视频时长不一、动作速度不同、上下文变化大等问题实现跨视频的语义帧级对齐以及复杂的时序依赖建模。二、MATR论文提出了 MATRMoment Alignment Transformer模型。其核心在于通过显式的双阶段序列对齐将目标视频的特征转化为与查询视频高度对齐的表示。1、特征提取与融合模型首先从目标视频和查询视频中每 2 秒均匀采样帧并使用冻结的 CLIPViT-B/32图像编码器结合线性投影模块提取特征。随后将这些特征沿序列长度维度拼接送入 Transformer 编码器进行联合理解与特征融合。2、双阶段序列对齐这是 MATR 的核心创新。模型采用可微分且对非线性速度和噪声鲁棒的 Soft-DTW 算法在特征融合前后进行两次对齐预融合对齐在特征送入编码器前建立目标视频与查询视频之间的初步语义关联增强原始特征的语义表达能力。后融合对齐在编码器深度融合特征后利用更高阶的融合表示进行二次对齐。这一步能捕捉更精细、深层的语义匹配关系进一步提炼目标视频中与查询相关的特征。3、解码预测与自监督预训练解码器利用后融合对齐矩阵筛选出的与目标序列结合可学习查询向量进一步细化特征。最终模型通过预测头完成两项任务一是前景/背景分类判断每一帧是否属于目标时刻二是边界预测回归计算出目标时刻的起止时间偏移量。此外为了减少对标注数据的依赖论文设计了一种自监督预训练策略。模型在同一段长视频中随机采样一个片段作为查询训练自己去定位它。同时引入反转帧序、加噪、快慢放等数据增强手段极大地提升了模型的泛化能力和鲁棒性。三、训练过程四、实验效果论文在公开的 ActivityNet-VRL 基准以及新构建的 SportsMoments 体育数据集上进行了全面评估采用 mIoU平均交并比和 R1Recall1作为核心指标。MATR 取得了显著的性能突破。在 ActivityNet-VRL 上其微调版本达到了 56.8% 的 mIoU 和 57.1% 的 R1相比之前的 SOTA 方法mIoU 绝对提升了 8.1%R1 绝对提升了 13.1%。在新提出的 SportsMoments 数据集上MATR 同样展现出强大的泛化能力mIoU 达到 59.2%R1 达到 56.5%相对强基线实现了 14.4% 和 14.7% 的绝对提升。Reference[1] ICCV 2025 视频也能当“查询词”微软MATR模型实现精准视频时刻对齐与检索性能大幅提升