noteVTG-LLM 通过巧妙的时间嵌入设计、特殊时间 token 和轻量级槽位压缩成功将时间戳知识注入视频 LLM在多个 VTG 任务上设立了新的零样本标杆。其配套的高质量数据集也为该领域的进一步研究提供了宝贵资源。这项工作为构建真正具备细粒度时空理解能力的通用视频助手迈出了坚实的一步。问题问题一关于时间嵌入的零初始化策略问题二关于时间Token与Caption质量的权衡问题三关于槽位压缩的实际收益文章目录note一、研究动机二、论文核心1. 序列时间嵌入Sequence-Time Embedding2. 绝对时间 TokenAbsolute-Time Tokens3. 基于槽位的 Token 压缩Slot-Based Token Compression4. 配套数据集VTG-IT-120K三、实验结果1. 零样本性能对比表12. 消融实验表23. 微调结果表4-64. 其他分析四、分析成功因素局限性Reference一、研究动机论文 VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Grounding港中深2025.2核心问题现有的视频大语言模型Video LLM虽然在视频内容理解上取得了显著进展但在**视频时间定位Video Temporal Grounding, VTG**任务中往往无法准确地将 linguistic queries 与视频中的具体时间戳对应起来。VTG 任务要求模型根据给定的自然语言描述精确返回事件发生的起止时间这对视频浏览、编辑等下游应用至关重要。现有方法的局限传统任务专用模型如 Moment-DETR、Vid2Seq虽然性能不错但缺乏多任务并发处理能力和零样本泛化能力每个下游任务都需要单独微调和大量预训练资源。通用视频 LLM如 Video-LLaMA、VideoChat虽能处理多种任务但其视觉输入中缺乏足够精确的时间戳信息导致定位不准。概念偏移问题数字相关的知识如计数“20个人”和时间“20秒”被迫共享相同的 token 嵌入空间增加了分类难度。帧采样瓶颈VTG 任务需要采样远多于普通 VQA 任务的帧数如 96 帧 vs 816 帧但 LLM 的上下文长度有限亟需高效的 token 压缩方法。数据集质量现有指令微调数据集要么标注质量低要么任务分布极不均衡。因此作者提出VTG-LLM旨在系统性地将时间戳知识注入视频 LLM同时构建高质量的平衡数据集VTG-IT-120K。二、论文核心VTG-LLM 包含三个精心设计的组件分别解决上述挑战1. 序列时间嵌入Sequence-Time Embedding动机仅靠序列嵌入sequence embedding只能反映帧的相对顺序无法表达绝对时间戳。由于采样间隔不均匀且视频长度差异大模型难以推断真实时间。方法在视觉 token 上同时加上序列嵌入和绝对时间嵌入z ^ i , j z i , j [ W s ] i [ W t ] t \hat{z}_{i,j}z_{i,j}[W_{s}]_{i}[W_{t}]_{t}z^i,j​zi,j​[Ws​]i​[Wt​]t​其中t tt是该帧对应的绝对时间秒。为避免破坏预训练视觉编码器的特征时间嵌入矩阵W t W_tWt​全部初始化为零。此外针对未见过的测试时间戳采用测试时插值机制利用相邻已知时间戳的嵌入进行线性组合。2. 绝对时间 TokenAbsolute-Time Tokens动机以往方法使用相对帧 ID如 frame_1, frame_2会带来量化误差且随视频长度线性增长从零训练时间 token 又会破坏预训练 LLM 已有的数字知识。方法在 tokenizer 中引入11 个特殊时间 token09 和小数点所有时间戳统一用6 个 token表示例如 120.5 秒 →t1t2t0t0tdott5。这样可支持超过 1 小时的视频且精度恒定。初始化策略将时间 token 的嵌入矩阵和 LLM 预测头权重直接拷贝自对应数字的预训练嵌入如t1初始化为数字1的嵌入实现数字知识向时间知识的迁移。3. 基于槽位的 Token 压缩Slot-Based Token Compression动机VTG 需要大量帧但 LLM 上下文受限。传统交叉注意力压缩需要大量数据采样方法则丢失过多信息。方法受 Soft-MoE 启发设置K KK个可学习的槽位slot每个槽位是所有视觉 token 的加权混合s k ∑ i 1 N exp ⁡ ( Φ k T z i ) ∑ j 1 N exp ⁡ ( Φ k T z j ) z i s_{k}\sum_{i1}^{N}\frac{\exp(\Phi_{k}^{T}z_{i})}{\sum_{j1}^{N}\exp(\Phi_{k}^{T}z_{j})} z_{i}sk​i1∑N​∑j1N​exp(ΦkT​zj​)exp(ΦkT​zi​)​zi​其中Φ ∈ R K × d \Phi \in \mathbb{R}^{K \times d}Φ∈RK×d是可训练的槽位分发器。该方法只需训练一个矩阵计算高效且能将任意数量帧的视觉 token 压缩至固定长度如 256从而允许模型采样多达 96 帧。4. 配套数据集VTG-IT-120K收集自公开来源包含47.2K 视频、120K 标注覆盖四大 VTG 子任务时刻检索Moment Retrieval, 63.2K密集视频描述Dense Video Captioning, 37.2K视频摘要Video Summarization, 15.2K视频精彩片段检测Video Highlight Detection, 3.9K使用Gemini-1.5 Pro 重新标注了 51.9K 条低质量字幕使描述更简洁且与视觉内容更相关。相比之前的数据集任务分布更均衡。三、实验结果实验在三个主流 VTG 基准上进行零样本评估任务数据集主要评测指标密集视频描述Youcook2CIDEr, SODA_c, F1 Score定位精度时刻检索Charades-STAR1(IOU0.5), R1(IOU0.7)视频精彩片段检测QVHighlightsmAP, HIT11. 零样本性能对比表1VTG-LLM (7B) 在所有数据集和几乎所有指标上均优于现有的视频 LLM包括传统模型Valley、VideoChat 等和专为 VTG 设计的模型TimeChat、VTimeLLM、Momentor、HawkEye。提升在时间戳定位相关指标F1 Score, Recall上尤为显著说明性能增益主要来自更准确的时间定位能力。2. 消融实验表2时间嵌入的有效性仅用序列嵌入SE Only性能下降若随机初始化时间嵌入TE Random Initialize性能严重受损证明零初始化策略至关重要。绝对时间 Token 的作用移除时间 tokenNo Time Token导致定位指标大幅下降。不统一格式Time Token not Formatted或不初始化嵌入Token Embedding not Initialized同样损害性能。使用时间 token 会轻微降低描述质量CIDEr/SODA_c 略降揭示了定位精度与描述质量之间的权衡。槽位压缩的优势与基于熵采样、多样性采样或交叉注意力的方法相比槽位压缩在各项任务上均取得最佳结果证实了其在小规模指令微调数据下的有效性。3. 微调结果表4-6在 Youcook2、Charades-STA、QVHighlights 上微调后VTG-LLM 大幅超越其他通用模型如 TimeChat甚至在 Charades-STA 上接近或超过某些任务专用模型如 HawkEye、Moment-DETR。与 Vid2Seq 等使用十亿级预训练数据的全微调模型相比VTG-LLM 仅用 120K 指令数据和 LoRA 微调展现了极高的参数效率。4. 其他分析视频时长鲁棒性表3在不同视频时长区间0s420s上性能波动较小说明模型对长视频具有较好适应性。解码温度降低温度τ 0.1 \tau0.1τ0.1可进一步提升定位性能表7。测试时插值对长视频数据集如 Youcook2有明显帮助。四、分析成功因素时间戳知识的深度融合序列时间嵌入提供了连续的绝对时间信号绝对时间 token 则让 LLM 能以离散符号精确输出时间两者互补。知识继承策略无论是时间嵌入的零初始化还是时间 token 从数字嵌入初始化都最大限度地保留了预训练模型的原有能力加速了收敛并提升了最终性能。高效的视觉压缩槽位机制以极简的参数实现了高质量的信息聚合使得在有限上下文内处理大量帧成为可能这是 VTG 任务的关键。数据质量与平衡性VTG-IT-120K 的高质量重标注缓解了噪声干扰均衡的任务分布有助于模型学习通用的时序理解能力。局限性Caption 质量与定位精度的权衡使用绝对时间 token 虽然大幅提升定位能力但对生成描述的自然性有一定影响。如何同时优化两者是未来方向。未利用音频信息视频中常包含有用的声音线索当前模型仅处理视觉模态。槽位压缩的泛化性目前仅在 VTG 任务上验证其在其他视频理解任务如纯描述生成上的表现有待探索。推理效率尽管压缩了 token但处理 96 帧仍带来不小的计算开销。Reference[1] VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Grounding