note总结MLT-Dedup 用“稀疏 Clip 特征做大规模召回、细粒度 Frame 特征做精确复核”再通过静态特征和帧间差分特征定位重复片段实现了兼顾召回率、准确率和工程成本的视频去重系统。面向大规模在线短视频平台提出了一个结合多级视频表示与时空匹配的高效去重框架MLT-Dedup。该框架采用“粗筛精判”的两阶段流水线首先利用多级视频编码器ML-VE同时提取稀疏的片段级嵌入用于 HNSW 快速候选检索以及细粒度的帧级嵌入用于下游精判随后引入差分特征增强的时空匹配模块DiF-SiM对候选视频进行精确的重复时间段定位与相似度评分从而在有限资源下兼顾检索效率与匹配精度。解决了传统视频去重在固定索引资源预算下高密度帧级索引容量受限导致召回不足而稀疏片段级特征又缺乏细粒度时间信息导致误判的痛点。同时有效应对了现实中常见的剪辑、变速、加水印等局部编辑带来的时间错位与静态外观变化挑战。效果在真实大规模在线平台部署中系统在保持 90% 精度的前提下将在线视频重复率降低了 91%在相同资源预算下稀疏检索设计使索引容量提升了 5 倍。此外在公开视频拷贝定位数据集 VCSL 上其 F-score 达到了 74.31%优于多个强基线方法。文章目录note一、研究动机二、MLT-Dedup视频去重1、MLT-Dedup流程2、多级视频编码器ML-VE3、差分特征增强的时空匹配模块DiF-SiM三、模型训练四、实验结果五、结果分析Reference一、研究动机MLT-Dedup: Efficient Large-Scale Online Video Deduplication via Multi-Level Representations and Spatial-Temporal MatchingKDD 2026链接https://arxiv.org/abs/2606.12215随着短视频平台上海量用户生成内容UGC的爆发式增长大量经过轻微编辑如裁剪、变速、加水印、转码等的“近重复视频”随之涌现。这些视频不仅严重降低了用户的观看体验和推荐系统的质量还带来了巨大的存储与带宽成本压力并增加了版权风险。现有的去重框架在有限的索引预算下面临着核心矛盾高密度的帧级特征虽然保留了丰富细节但索引容量极小导致召回不足而低维度的片段级特征虽然索引效率高却丢失了细粒度的时间信息容易造成误判。因此如何在严格的资源限制下同时兼顾大规模检索的召回率与高精度匹配成为亟待解决的工程难题。二、MLT-Dedup视频去重1、MLT-Dedup流程面向大规模在线短视频平台提出了一个结合多级视频表示与时空匹配的高效去重框架MLT-Dedup。该框架采用“粗筛精判”的两阶段流水线首先利用多级视频编码器ML-VE同时提取稀疏的片段级嵌入用于 HNSW 快速候选检索以及细粒度的帧级嵌入用于下游精判随后引入差分特征增强的时空匹配模块DiF-SiM对候选视频进行精确的重复时间段定位与相似度评分从而在有限资源下兼顾检索效率与匹配精度。2、多级视频编码器ML-VE为了打破效率与精度的权衡ML-VE 在一次前向传播中同时产出两种互补的特征稀疏片段级嵌入维度较低用于构建 HNSW 近似最近邻索引实现海量视频库的高效快速召回。细粒度帧级嵌入保留逐帧的视觉细节平时存储在低成本磁盘上仅在候选被召回时才加载避免内存爆炸。为了确保模型同时学好这两类特征训练过程融合了 MoCo/VICReg 自监督学习、有监督的 Pairwise/Triplet 损失、内层特征知识蒸馏防止检索目标损害帧级质量以及内存bank去重等多种策略。两种特征先用“视频摘要”快速海选再用“逐帧细节”认真复核。Clip 特征放进 HNSW 向量索引Frame 特征存磁盘只有候选被召回后才加载。因此在相同索引资源下可以容纳约 5 倍视频量。特征用途特点Clip-level 特征从海量视频库中召回候选稀疏、省索引空间Frame-level 特征对候选视频进行精确比对细粒度能定位重复片段3、差分特征增强的时空匹配模块DiF-SiM同时考虑静态特征画面内容是否相似差分特征前后帧运动、变化趋势是否相似。针对传统全局相似度无法应对局部编辑和时间错位的痛点DiF-SiM 专注于成对视频的精确时空定位差分特征Δft计算相邻帧之间的归一化差分捕捉运动变化和局部时间过渡弥补静态外观特征的不足。Δ f t f t 1 − f t \Delta f_t f_{t1} - f_tΔft​ft1​−ft​深度相似度模块Deep-Sim摒弃固定的余弦距离采用可学习的多层感知机将静态与差分特征映射到高维相似空间灵活建模复杂对应关系。定位与决策将相似度图输入检测网络输出两段视频的重叠时间段及去重置信度分数最终依据“重叠时长比例”和“置信度”双阈值触发去重决策便于人工审计。三、模型训练1、ML-VE 使用 Swin-Large Perceiver Resampler并结合MoCo 对比学习VICReg 防止特征坍塌正负视频对 Pairwise LossTriplet Loss教师模型知识蒸馏保证逐帧特征不因 Clip 聚合而变差Memory Bank 去重避免把实际重复的视频错误地当成负样本。2、DiF-SiM 则通过无标注图像和视频做自监督预训练人工构造裁剪、插入、变速等重复情况降低对人工标注数据的依赖。四、实验结果【线上收益】在线端到端效果在保持 90% 精度的严苛标准下将在线视频重复率大幅降低 91%在相同硬件资源预算下稀疏检索设计使索引容量提升了 5 倍如上图。【ML-VE 召回能力】检索能力ML-VE在内部数据集上ML-VE 的 Recall5 达到 87.59%优于多个强基线。消融实验证明混合损失与内存bank去重显著提升了召回率而知识蒸馏KD有效保障了下游匹配的 F1 值如上图。【看 DiF-SiM 是否真的比现有方法强】匹配能力DiF-SiM在公开视频拷贝定位数据集 VCSL 上DiF-SiM 的 F-score 达到 74.31%超越此前 SOTA 方法 RTR 约 3.58%在内部测试集上 F1 达到 86.79%。消融实验证实Deep-Sim 与差分特征均带来了显著的性能增益。如上图鲁棒性验证在面临高斯模糊、水印、随机裁剪、色彩抖动、多轮压缩以及快慢速变速等常见视频扰动时引入差分特征和 Deep-Sim 的模型表现出极强的稳定性大幅领先于基线方法。消融实验最大增益来自 Deep-Sim其次是差分特征图像和视频自监督预训练继续提供小幅稳定提升内部测试集使用 ML-VE 输出的 256 维 Frame-level 特征VCSL 公共测试集使用统一的 ISC 256 维特征而不是 ML-VE。五、结果分析MLT-Dedup 的成功在于其高度贴合工业界实际需求的系统思维。它没有盲目追求单一模型的极致精度而是通过“粗粒度检索 细粒度验证”的分阶段流水线将繁重的全量比对转化为极少量的候选精判完美解决了大规模在线去重的资源瓶颈。其核心价值在于在同等服务器预算下不仅能多存 5 倍的视频索引还能更准地抓出隐藏的重复内容。当然也存在一定的边界条件它主要针对短视频场景在极低分辨率、严重运动模糊或前景发生巨变而背景相似的极端情况下仍可能失效此外论文中的部分绝对指标高度依赖 TikTok 的内部流量与私有数据集外部复现存在一定门槛。Reference[1] MLT-Dedup: Efficient Large-Scale Online Video Deduplication via Multi-Level Representations and Spatial-Temporal Matching(KDD 2026)