在 AI Agent 领域“Deep Research”这个词已经被反复消费过一轮了。从最早用浏览器自动化模拟人类搜索到 ChatGPT 的 Deep Research 功能再到国内各种“深度研究”产品核心逻辑其实都是同一套让大模型先拆解问题再调用工具查资料最后综合生成报告。但大多数人的感知是这类 Agent 产出的内容更像“高级版的百科搬运”它确实能搜、能读、能总结却始终缺了点什么。缺的正是视频信息。文本、图片可以被爬取可以被解析但视频里包含的语音讲解、动态画面、操作演示、场景变化传统 Deep Research Agent 几乎无法处理。要么靠人工一句句转录要么靠视频标题和简介猜内容要么直接放弃视频信源。而在真实的调研场景里视频恰恰是信息密度最高、时效性最强、最难以替代的资料来源之一。产品发布会、技术演讲、操作演示、实地采访、教学视频这些内容在深度调研中往往比纯文字资料更有价值。这篇论文项目的名字很直白Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent。它指向的正是下一代多模态 Deep Research Agent 的核心命题让 Agent 不仅能读文档还能“看懂”视频并把视频信息纳入完整的研究链路。这篇文章会做三件事先讲清楚 Deep Research Agent 从文本到多模态演进的技术逻辑再结合当前 Agent 开发的热门方向拆解一个视频深度研究 Agent 应该具备哪些模块最后给出一套可以自己动手跑通的最小实现思路和工程化建议。如果你正在做 Agent 开发、RAG 增强或者正准备给产品加入多模态研究能力这篇文章适合完整读一遍。1. Deep Research 已经不只是“搜索 总结”在继续往下讨论之前需要先对齐一下 Deep Research 这个概念。我更愿意把它定义为一个由大模型驱动的、面向开放式研究问题的多步推理 Agent 系统。它和普通问答 Agent 的本质区别在于普通问答是“一次检索、一次生成”而 Deep Research 是一个带有状态和循环的自主系统拆解子问题、执行检索、读取内容、判断信息是否充分、继续深入、最后综合输出。这个流程在纯文本场景下已经比较成熟了。业界常见的实现路径包括用浏览器自动化工具访问搜索引擎和网页把正文抓成纯文本用分块 Embedding 的方式做检索增强用大模型的上下文窗口承载多轮搜索摘要最后让模型基于所有检索材料生成报告。这套方式对网页、PDF、博客文章很有效但一旦遇到视频整个链路就断了。原因很直接搜索引擎对视频内容的索引粒度很粗通常只能索引标题、描述和少量标签视频是流媒体不能像网页一样直接抓取正文视频的信息通道是多模态的画面、字幕、语音、图表叠加在一起只取一个通道会丢失大量信息。所以视频 Deep Research 要解决的不是“加一个视频下载器”的问题而是重塑信息获取的管道。这也是为什么这个方向值得单独拿出来研究。能力维度传统 Deep Research Agent视频 Deep Research Agent信源类型网页、PDF、文本、图片网页、PDF、视频、音频、图片视频处理方式基本忽略或只读简介理解画面、语音、字幕、图表信息获取模式静态文档检索动态音视频内容解析推理依赖文本上下文多模态上下文需融合主要瓶颈检索质量、长文本压缩视频内容理解、上下文成本、时序对齐从技术迭代角度看Video-DeepResearch 这类项目代表的变化是研究的入口从“检索文档”变成了“理解世界”。这句判断是理解整个方向的关键。2. 视频信息为什么是 Deep Research 绕不开的“硬骨头”很多开发者第一次接触视频 Deep Research 时会问视频不就是语音转文字加字幕吗为什么还要单独做研究这个理解低估了视频的信息结构。一个发布会的视频至少有四个独立信息层语音层演讲者说了什么画面层屏幕上展示了什么、人物动作、产品外观、环境细节字幕层人工或自动生成的字幕往往经过润色图表层PPT 里的数据、架构图、流程图、代码片段。如果只做语音转文字画面层和图表层的信息就全部丢失了。举个例子一个芯片发布会的视频里演讲者口头说“性能提升了一倍”但 PPT 上的折线图才是准确的数字对比。只看文字很容易被口语化的表述误导而结合画面才能交叉验证。更深层的难点在于时序对齐。视频的信息是流式展开的语音说到某个概念时画面可能同时在展示对应的图表。要把两路信息对齐模型需要对视频有“时间感知”能力知道哪一段画面和哪一句话是在描述同一件事。这是传统的文档 RAG 完全没有的复杂度。还有一个痛点长视频的处理成本。一个两小时的深度访谈视频如果按秒抽帧可能产生几十万张图像如果做语音识别文本量也不少。直接塞给大模型Token 成本高到无法接受。所以视频 Deep Research 系统必须有一层“内容压缩”机制把原始视频转换为适合大模型推理的结构化摘要而不是原样搬入上下文。从工程角度看视频 Deep Research 需要解决的是一条完整的流水线“视频获取 → 内容解析 → 多模态信息抽取 → 对齐融合 → 综合推理 → 引用生成”。任何一个环节做得不够好最终研究结论的可信度都会大打折扣。3. 从文本 Agent 到多模态 Agent技术栈发生了哪些变化把视频 Deep Research 放到整个 Agent 开发脉络里看它其实是“多模态 Agent”这个大类下的一个典型场景。而多模态 Agent 和纯文本 Agent 的技术栈差异远比表面看起来大。感知层的变化。文本 Agent 的感知就是读取字符串最多做一下文本清洗。多模态 Agent 需要接入视觉编码器、音频编码器可能还需要视频抽帧模块、语音识别模块、音频事件检测模块。感知层的输出也不再是单纯的文本而是图像特征、音频片段、时间戳、帧描述等异构数据。记忆层的变化。文本 Agent 的长期记忆通常是一个向量数据库存文本的 Embedding。多模态 Agent 的记忆里要存图片、视频片段、语音摘要。检索的时候不能再只做文本相似度匹配而要支持跨模态检索——比如用户问“视频里那个红色界面是怎么实现的”系统需要能回溯到对应的画面对应的时间戳。规划层的变化。文本 Agent 的规划器只需要决定“搜什么、读什么、总结什么”。多模态 Agent 的规划器还需要决定“这个视频要不要完整看、哪一段需要重点看、是否要用视觉模型进一步分析”。规划空间显著增大对模型的判断力要求也更高。工具层的差异。和当前热门的 Agent 开发概念可以做一组类比Skill 是 Agent 可复用的能力单元比如“视频转写”“图表抽取”MCP 是模型与外部工具之间的标准化协议让 Agent 能统一调用视频处理服务Harness 是 Agent 的执行框架负责调度模型、工具和记忆的循环。视频 Deep Research 不是单个 Skill而是一个需要同时调度多个 Skill 的复合型 Harness 应用。维度纯文本 Agent多模态 Agent视频研究场景感知单元文本块视频帧、音频片段、字幕文本核心模型LLMLLM VLM ASR记忆粒度文本 chunk embedding视频剪辑引用 图像描述 文本摘要工具协议HTTP 搜索、文档解析抽帧、ASR、VLM 推理、视频片段检索评估方式文本忠实度多模态信息覆盖率、跨模态对齐质量“多模态 Agent”不等于“给 LLM 接一个能读图的 API”。它是一整套从感知、记忆、规划到执行的系统重构。Video-DeepResearch 的意义就在于它把这个重构过程集中在一个具体且高价值的研究任务里。4. 架构推演一个视频研究 Agent 应该有哪些核心模块目前该项目公开的技术细节有限我不会编造具体实现但结合主流的 Agent 架构模式和视频理解技术可以清晰推演出这类系统应有的模块边界。下面的架构也是你自己实现时可以直接参考的蓝图。一个完整的视频 Deep Research Agent至少包含六个模块。问题规划模块。接收用户的研究主题判断哪些子问题需要视频信源支撑。比如用户想研究“某大模型最新版本能力变化”规划模块应输出需要找发布会的视频、需要对比官方文档、需要找到开发者访谈、需要分析演示片段。它不是简单地把问题丢给搜索而是先做信息缺口分析。信源发现模块。根据规划结果检索相关视频。这里的难点是检索质量。常规的文本搜索只能针对视频标题和简介要找到真正有价值的视频可能需要叠加推荐算法、频道订阅关系、语义搜索甚至跨语言检索。内容解析模块。这是视频 Deep Research 最核心的部分。视频进入系统后需要通过 ASR 转写语音通过抽帧和 VLM 理解画面再通过字幕文件获得精准文本。三路信息需要对齐到统一的时间轴。这一步的输出质量直接决定后续研究报告的信息密度。结构化提取模块。原始解析结果仍然太庞杂。需要用大模型把音视频信息提炼成结构化条目主要观点、数据指标、演示步骤、关键结论并保留时间戳和原视频引用。这一步的目的是压缩信息同时保留可溯源性。综合推理模块。将视频提取结果与网页文本、PDF 文档等其他信源的信息融合回答用户的研究问题。这里有两个要求一是不能只复述视频内容要具备多源交叉验证的能力二是生成的报告必须标注每条结论的来源包括来自视频的时间段和原始出处。验证与引用模块。生成结论后需要系统性地检查每条关键结论是否有信息支撑支撑证据是来自可信信源还是低质内容多个信源之间是否存在矛盾引用是否精确到视频的时间点这一步是 Deep Research 和普通问答的分水岭直接决定产品是否能被严肃场景使用。这六个模块构成一个循环而非线性流程。在综合分析阶段如果发现信息不足Agent 应当能回到规划模块重新提出新的子查询继续搜索。这种“研究循环”是 Deep Research 类系统的灵魂。5. 最小实现搭建一个简化版视频研究 Agent下面给一个可以直接跑通思路的最小实现。需要提前说明这不是 Video-DeepResearch 项目的官方复现而是用当前常见的开源工具链演示“视频研究 Agent”的核心流程视频获取、语音转写、画面理解、信息汇总。本示例的技术栈为 Python使用yt-dlp下载视频音频、faster-whisper做语音转写、openai接口风格的视觉模型做画面理解。视频内容建议选择公开授权或你有权使用的素材务必遵守平台条款和版权规定。5.1 环境准备# 建议使用 Python 3.10并创建虚拟环境 python -m venv venv source venv/bin/activate pip install yt-dlp faster-whisper openai # 可选如果需要处理视频抽帧可以安装 ffmpeg # macOS brew install ffmpeg # Ubuntu/Debian # sudo apt install ffmpeg注意openai库不仅可用于 OpenAI 官方服务也可以接兼容 OpenAI 协议的本地模型服务。这里的关键是让视觉模型能读取视频帧并输出描述具体的模型选择请以实际可用服务为准。5.2 核心流程代码创建以下文件# 文件路径video_deep_research.py 简化版 Video Deep Research Agent 示例 功能输入视频链接输出结构化研究摘要 注意本示例用于演示流程未包含完整的 Agent 规划循环和高级记忆系统 import tempfile from pathlib import Path import yt_dlp from faster_whisper import WhisperModel from openai import OpenAI # 请根据实际服务配置支持 OpenAI 官方或兼容服务 client OpenAI(base_urlYOUR_API_BASE_URL, api_keyYOUR_API_KEY) def download_audio(video_url: str, work_dir: Path) - Path: 下载视频的音频流用于语音转写 ydl_opts { format: bestaudio/best, outtmpl: str(work_dir / audio.%(ext)s), quiet: True, } with yt_dlp.YoutubeDL(ydl_opts) as ydl: ydl.download([video_url]) audio_file list(work_dir.glob(audio.*))[0] return audio_file def transcribe_audio(audio_path: Path) - str: 语音转写返回带时间戳的文本 model WhisperModel(small, devicecpu, compute_typeint8) segments, _ model.transcribe(str(audio_path)) lines [] for segment in segments: start segment.start text segment.text.strip() lines.append(f[{start:.1f}s] {text}) return \n.join(lines) def extract_video_frames(video_url: str, work_dir: Path, interval: int 15) - list: 按固定间隔抽帧返回帧图片路径列表 import subprocess video_path work_dir / video.mp4 ydl_opts { format: bestvideo[extmp4]bestaudio[extm4a]/best, outtmpl: str(video_path), quiet: True, } with yt_dlp.YoutubeDL(ydl_opts) as ydl: ydl.download([video_url]) frames_dir work_dir / frames frames_dir.mkdir(exist_okTrue) subprocess.run( [ ffmpeg, -i, str(video_path), -vf, ffps1/{interval}, str(frames_dir / frame_%04d.jpg), ], checkTrue, capture_outputTrue, ) return sorted(frames_dir.glob(*.jpg)) def describe_frame(frame_path: Path) - str: 让视觉模型描述单张视频帧 import base64 with open(frame_path, rb) as f: img_base64 base64.b64encode(f.read()).decode(utf-8) response client.chat.completions.create( modelYOUR_VISION_MODEL, messages[ { role: user, content: [ { type: text, text: 请用中文描述这张视频截图中的关键信息。 如果画面中有文字、图表、数据或操作界面请重点描述。, }, { type: image_url, image_url: { url: fdata:image/jpeg;base64,{img_base64} }, }, ], } ], ) return response.choices[0].message.content def summarize_research(transcript: str, frame_descriptions: list) - str: 基于转写文本和画面描述生成研究摘要 frame_text \n.join(frame_descriptions) prompt f你是一名深度研究助手。以下是某个视频的语音转写文本和画面描述。 请完成以下任务 1. 提炼视频的核心主题和主要观点 2. 列出视频中出现的所有关键数据或指标 3. 如果画面中包含架构图、流程图或操作步骤请概要描述 4. 指出当前信息中的不明确之处方便后续继续研究。 语音转写文本 {transcript[:12000]} 画面描述 {frame_text[:5000]} response client.chat.completions.create( modelYOUR_MAIN_MODEL, messages[{role: user, content: prompt}], ) return response.choices[0].message.content def main(video_url: str): with tempfile.TemporaryDirectory() as tmp: work_dir Path(tmp) print(Step 1: 下载音频...) audio_path download_audio(video_url, work_dir) print(Step 2: 语音转写...) transcript transcribe_audio(audio_path) print(Step 3: 抽取视频画面...) frames extract_video_frames(video_url, work_dir) print(Step 4: 理解视频画面...) frame_descriptions [] for frame in frames: frame_descriptions.append(describe_frame(frame)) print(Step 5: 生成研究摘要...) summary summarize_research(transcript, frame_descriptions) print(\n 研究摘要结果 \n) print(summary) if __name__ __main__: # 用法示例python video_deep_research.py 视频URL import sys if len(sys.argv) 2: print(Usage: python video_deep_research.py video_url) sys.exit(1) main(sys.argv[1])5.3 关键逻辑说明这段代码演示的是一个最基础的视频研究链路音频流下载、ASR 转写、固定间隔抽帧、VLM 帧描述、融合生成研究摘要。三个需要特别注意的设计点第一抽帧间隔直接决定成本。15 秒抽一帧是相对保守的选择适合演讲类视频。如果视频画面变化频繁比如产品操作演示可以把间隔缩短到 5 秒如果只是访谈类内容可以放宽到 30 秒让画面理解辅助语音即可。第二语音转写文本和帧描述在送入最终生成之前必须控制长度。上面的示例用了简单截断实际项目中应该用摘要压缩或结构化提取避免长视频信息丢失。第三最终的研究摘要在真实系统中应该保留引用来源。每一段关键结论都应当记录“来自语音的哪一段”或“来自画面的哪一帧”这样用户才能回溯验证。5.4 运行与验证python video_deep_research.py https://example.com/your-video预期输出控制台会依次打印Step 1到Step 5的进度最终生成一份包含核心观点、关键数据、画面信息、待确认问题的研究摘要如果某个步骤失败会抛出对应异常可以从异常信息判断是网络下载、转写还是模型调用的问题。判断运行是否成功核心标准不是“有没有输出报告”而是三个问题转写文本是否完整反映了视频的主要内容帧描述是否捕捉到了画面中的关键图表或操作界面最终摘要是否同时包含了语音信息和视觉信息而不是只依赖其中一种如果你的运行结果只包含语音转写的内容说明画面理解链路没生效需要检查抽帧和视觉模型调用环节。6. 如何评估一个视频研究 Agent 的效果很多开发者在跑通 Demo 后不知道怎么判断系统“够不够好”。这其实是 Deep Research 类项目最容易被低估的部分研究系统的评估比研究系统本身更难。传统问答系统的评估可以用标准答案匹配但深度研究是开放式任务答案没有唯一性。视频研究还叠加了多模态理解的不可控性所以评估要分成多个层次。解析层评估。只看中间产物不问最终报告。转写文本的字错误率是多少帧描述是否准确识别了图表中的关键数字时间戳对齐精度如何这些指标可以在没有人工标注的情况下用抽样检查来评估。信息覆盖评估。抽出一段视频人工列出它包含的重要信息点然后检查 Agent 的研究摘要覆盖了多少个信息点。覆盖率越高说明系统在“信息获取”环节越成功这是视频 Deep Research 的核心价值。忠实度评估。生成报告中的每一条结论是否能在原始视频中找到依据有没有出现模型幻觉编造视频中不存在的数据这个维度的评估需要把报告中的关键句与视频原文进行比对建议至少抽查 30% 的结论。研究效率评估。完成一个研究任务需要多少时间、多少 Token、多少轮工具调用相比纯人工调研效率提升多少这个维度直接影响产品化成本。参考实现可以用一个简化脚本对生成的报告做逐条来源检查# 文件路径evaluate_report.py 简易评估脚本检查研究摘要中的关键结论是否有引用来源 import re import sys # 示例报告文件每条结论以 - 开头 report_path sys.argv[1] if len(sys.argv) 1 else report.txt with open(report_path, encodingutf-8) as f: content f.read() # 提取所有列表条目 statements re.findall(r^[-*]\s(.)$, content, flagsre.MULTILINE) print(f共提取到 {len(statements)} 条结论) no_source_count 0 for stmt in statements: has_time_ref re.search(r\d{1,2}:\d{2}, stmt) has_source_marker any(marker in stmt for marker in [来源, 参考, 引用, 视频]) if not (has_time_ref or has_source_marker): no_source_count 1 print(f[缺少引用] {stmt}) print(f\n缺少引用的结论数量: {no_source_count}) ratio no_source_count / max(len(statements), 1) print(f未溯源比例: {ratio:.1%})这个脚本虽然简单但它代表了一个重要的产品原则没有溯源能力的研究报告不具备严肃使用价值。7. 多模态 Agent 开发中的常见问题与排查方法结合当前 Agent 开发圈的实践反馈我整理了一份视频研究类 Agent 的高频问题清单。这些问题在纯文本 Agent 里不明显但在多模态场景下会集中暴露。问题现象可能原因排查方式解决方案视频下载失败目标平台限制、网络策略、格式不支持查看 yt-dlp 报错信息检查 URL 是否可访问切换下载策略使用平台许可的数据获取方式转写文本时间戳错乱音频格式问题、采样率不一致检查音频文件信息确认 ffmpeg 转码正常转写前统一音频格式如 16kHz WAV视觉模型描述失真抽帧间隔太大错过关键画面或图像分辨率过低抽样查看帧图片检查原始帧质量降低抽帧间隔必要时对关键片段做局部放大分析Token 成本超限长视频转写文本和大量帧描述同时进入上下文统计各环节 Token 消耗对中间结果做结构化压缩引入摘要缓存最终报告与视频内容不一致转写错误、帧描述错误、生成阶段幻觉用溯源脚本抽查关键结论在生成提示词中强制要求引用时间戳多视频研究时结论相互矛盾不同视频拍摄时间不同、信息版本不同人工核对矛盾点对应的视频片段在报告中标注信息时间并让 Agent 判断版本差异上下文窗口溢出多个视频的研究中间结果累积检查主循环中的上下文长度增加记忆管理模块将历史信息摘要化后存入向量库重点提醒一个容易被忽略的坑不要试图把所有原始视频内容都塞进大模型上下文。视频研究 Agent 真正要做的是“消化”视频而不是“搬运”视频。每一层处理都应该是压缩和提炼而不是堆砌。当你发现上下文越来越长、回答越来越泛化的时候通常不是模型不够强而是中间产物的信息密度太低了。8. 多模态 Agent 工程化的最佳实践建议从 Agent 开发的最佳实践出发结合视频 Deep Research 的特殊性下面是一些在真实项目中更稳妥的做法。第一将视频处理能力封装为独立的 Skill按需组合。不要把转写、抽帧、VLM 描述等逻辑全部写进主循环。每个能力都应该是独立的模块通过VideoTranscripter、FrameExtractor、VisualAnalyzer这样的 Skill 接口暴露。这样做的直接好处是主 Agent 可以在规划阶段决定“这个视频只需要转写不需要画面分析”从而节省大量成本。第二明确 Skill 与 MCP 的边界。Skill 更偏重“怎么把一件事做好”的方法封装MCP 则偏重“如何以标准协议被 Agent 调度”。一个成熟的视频研究系统会用 MCP 标准化视频处理工具的调用方式再用 Skill 封装具体的处理流程。两者不是二选一而是分层配合。第三Harness 和 Agent 的职责要分开。Harness 负责管理执行循环、上下文窗口、工具调用的调度逻辑Agent 只负责推理和决策。很多 Agent 项目最后变得不可维护就是因为没有这个边界导致业务逻辑和循环控制全部耦合在一起。Video-DeepResearch 这类系统涉及多个工具链结构上更应该把 Harness 层和 Agent 层解耦。第四记忆设计必须分短期和长期。短期记忆用于当前研究任务中保存正在分析的视频摘要和中间结论长期记忆用于跨任务复用保存用户过往关注的研究主题、已分析过的视频索引、常用信源的质量评估。多 Agent 协作时长期记忆还是多个专项 Agent 共享知识池的关键。第五安全边界要从数据获取开始约束。视频研究涉及版权、隐私、平台条款等多重问题。系统应当拒绝处理未经授权的商业机密类视频、涉及个人隐私的视频以及平台明确禁止抓取的内容。在工具层要引入访问控制对下载行为设置速率限制保存所有数据获取记录。需要强调任何视频数据的获取和处理都必须基于合法授权和合规渠道不要在未经许可的情况下采集受版权保护的内容。第六评估体系要和系统同步建设。不要等系统开发完了再补评测。从第一个版本开始就应该有信息覆盖率评估、忠实度评估的脚本和标注流程。哪怕是最简单的抽样检查也比没有强得多。第七关注异构信源的信息冲突。视频信息经常与文档信息矛盾。一个 2025 年的发布会视频里说的数据可能和 2024 年的官方文档不一致。Agent 系统应当有能力识别这种版本差异而不是简单地把两段信息拼接在一起。这类矛盾处理逻辑是视频 Deep Research 区别于普通视频总结器的关键能力。9. Agent 开发的核心判断与后续方向回到最开始的判断Video-DeepResearch 这类项目之所以值得关注不是因为它多了一个“视频上传”的功能而是它把深度研究的信源边界从静态文档扩展到了动态世界。对开发者来说这意味着 Agent 开发的重心正在从“如何调工具”转向“如何理解异构信息”。从实际开发的角度我的建议是不要一上来就追求完整复现论文级的系统。先用现有工具链跑通一个最小链路找一个授权视频 → 转写 → 抽帧 → 视觉模型描述 → 汇总报告。这个链路本身就能让你直观感受到多模态 Agent 的体验跳跃和工程痛点。跑通之后再逐步叠加三个方向的能力一是记忆系统让 Agent 能跨视频积累和检索知识二是规划能力让 Agent 自主决定哪些内容值得深入看、哪些可以跳过三是评估体系让研究结论可溯源、可验证。这三个方向做好之后你的系统就已经具备视频 Deep Research Agent 的核心雏形了。视频 Deep Research 还处于很早期。但方向是确定的下一代 Deep Research Agent一定不是只会读文字的“论文检索器”而是能看、能听、能理解世界的多模态研究助手。如果你正在做 Agent 开发现在正是研究这个方向的最佳时机。建议先把本文的代码跑通再按自己的业务场景设计信源和处理链路会比追逐短期热点更有长期价值。 视频Deep Research：下一代多模态深度研究Agent
在 AI Agent 领域“Deep Research”这个词已经被反复消费过一轮了。从最早用浏览器自动化模拟人类搜索到 ChatGPT 的 Deep Research 功能再到国内各种“深度研究”产品核心逻辑其实都是同一套让大模型先拆解问题再调用工具查资料最后综合生成报告。但大多数人的感知是这类 Agent 产出的内容更像“高级版的百科搬运”它确实能搜、能读、能总结却始终缺了点什么。缺的正是视频信息。文本、图片可以被爬取可以被解析但视频里包含的语音讲解、动态画面、操作演示、场景变化传统 Deep Research Agent 几乎无法处理。要么靠人工一句句转录要么靠视频标题和简介猜内容要么直接放弃视频信源。而在真实的调研场景里视频恰恰是信息密度最高、时效性最强、最难以替代的资料来源之一。产品发布会、技术演讲、操作演示、实地采访、教学视频这些内容在深度调研中往往比纯文字资料更有价值。这篇论文项目的名字很直白Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent。它指向的正是下一代多模态 Deep Research Agent 的核心命题让 Agent 不仅能读文档还能“看懂”视频并把视频信息纳入完整的研究链路。这篇文章会做三件事先讲清楚 Deep Research Agent 从文本到多模态演进的技术逻辑再结合当前 Agent 开发的热门方向拆解一个视频深度研究 Agent 应该具备哪些模块最后给出一套可以自己动手跑通的最小实现思路和工程化建议。如果你正在做 Agent 开发、RAG 增强或者正准备给产品加入多模态研究能力这篇文章适合完整读一遍。1. Deep Research 已经不只是“搜索 总结”在继续往下讨论之前需要先对齐一下 Deep Research 这个概念。我更愿意把它定义为一个由大模型驱动的、面向开放式研究问题的多步推理 Agent 系统。它和普通问答 Agent 的本质区别在于普通问答是“一次检索、一次生成”而 Deep Research 是一个带有状态和循环的自主系统拆解子问题、执行检索、读取内容、判断信息是否充分、继续深入、最后综合输出。这个流程在纯文本场景下已经比较成熟了。业界常见的实现路径包括用浏览器自动化工具访问搜索引擎和网页把正文抓成纯文本用分块 Embedding 的方式做检索增强用大模型的上下文窗口承载多轮搜索摘要最后让模型基于所有检索材料生成报告。这套方式对网页、PDF、博客文章很有效但一旦遇到视频整个链路就断了。原因很直接搜索引擎对视频内容的索引粒度很粗通常只能索引标题、描述和少量标签视频是流媒体不能像网页一样直接抓取正文视频的信息通道是多模态的画面、字幕、语音、图表叠加在一起只取一个通道会丢失大量信息。所以视频 Deep Research 要解决的不是“加一个视频下载器”的问题而是重塑信息获取的管道。这也是为什么这个方向值得单独拿出来研究。能力维度传统 Deep Research Agent视频 Deep Research Agent信源类型网页、PDF、文本、图片网页、PDF、视频、音频、图片视频处理方式基本忽略或只读简介理解画面、语音、字幕、图表信息获取模式静态文档检索动态音视频内容解析推理依赖文本上下文多模态上下文需融合主要瓶颈检索质量、长文本压缩视频内容理解、上下文成本、时序对齐从技术迭代角度看Video-DeepResearch 这类项目代表的变化是研究的入口从“检索文档”变成了“理解世界”。这句判断是理解整个方向的关键。2. 视频信息为什么是 Deep Research 绕不开的“硬骨头”很多开发者第一次接触视频 Deep Research 时会问视频不就是语音转文字加字幕吗为什么还要单独做研究这个理解低估了视频的信息结构。一个发布会的视频至少有四个独立信息层语音层演讲者说了什么画面层屏幕上展示了什么、人物动作、产品外观、环境细节字幕层人工或自动生成的字幕往往经过润色图表层PPT 里的数据、架构图、流程图、代码片段。如果只做语音转文字画面层和图表层的信息就全部丢失了。举个例子一个芯片发布会的视频里演讲者口头说“性能提升了一倍”但 PPT 上的折线图才是准确的数字对比。只看文字很容易被口语化的表述误导而结合画面才能交叉验证。更深层的难点在于时序对齐。视频的信息是流式展开的语音说到某个概念时画面可能同时在展示对应的图表。要把两路信息对齐模型需要对视频有“时间感知”能力知道哪一段画面和哪一句话是在描述同一件事。这是传统的文档 RAG 完全没有的复杂度。还有一个痛点长视频的处理成本。一个两小时的深度访谈视频如果按秒抽帧可能产生几十万张图像如果做语音识别文本量也不少。直接塞给大模型Token 成本高到无法接受。所以视频 Deep Research 系统必须有一层“内容压缩”机制把原始视频转换为适合大模型推理的结构化摘要而不是原样搬入上下文。从工程角度看视频 Deep Research 需要解决的是一条完整的流水线“视频获取 → 内容解析 → 多模态信息抽取 → 对齐融合 → 综合推理 → 引用生成”。任何一个环节做得不够好最终研究结论的可信度都会大打折扣。3. 从文本 Agent 到多模态 Agent技术栈发生了哪些变化把视频 Deep Research 放到整个 Agent 开发脉络里看它其实是“多模态 Agent”这个大类下的一个典型场景。而多模态 Agent 和纯文本 Agent 的技术栈差异远比表面看起来大。感知层的变化。文本 Agent 的感知就是读取字符串最多做一下文本清洗。多模态 Agent 需要接入视觉编码器、音频编码器可能还需要视频抽帧模块、语音识别模块、音频事件检测模块。感知层的输出也不再是单纯的文本而是图像特征、音频片段、时间戳、帧描述等异构数据。记忆层的变化。文本 Agent 的长期记忆通常是一个向量数据库存文本的 Embedding。多模态 Agent 的记忆里要存图片、视频片段、语音摘要。检索的时候不能再只做文本相似度匹配而要支持跨模态检索——比如用户问“视频里那个红色界面是怎么实现的”系统需要能回溯到对应的画面对应的时间戳。规划层的变化。文本 Agent 的规划器只需要决定“搜什么、读什么、总结什么”。多模态 Agent 的规划器还需要决定“这个视频要不要完整看、哪一段需要重点看、是否要用视觉模型进一步分析”。规划空间显著增大对模型的判断力要求也更高。工具层的差异。和当前热门的 Agent 开发概念可以做一组类比Skill 是 Agent 可复用的能力单元比如“视频转写”“图表抽取”MCP 是模型与外部工具之间的标准化协议让 Agent 能统一调用视频处理服务Harness 是 Agent 的执行框架负责调度模型、工具和记忆的循环。视频 Deep Research 不是单个 Skill而是一个需要同时调度多个 Skill 的复合型 Harness 应用。维度纯文本 Agent多模态 Agent视频研究场景感知单元文本块视频帧、音频片段、字幕文本核心模型LLMLLM VLM ASR记忆粒度文本 chunk embedding视频剪辑引用 图像描述 文本摘要工具协议HTTP 搜索、文档解析抽帧、ASR、VLM 推理、视频片段检索评估方式文本忠实度多模态信息覆盖率、跨模态对齐质量“多模态 Agent”不等于“给 LLM 接一个能读图的 API”。它是一整套从感知、记忆、规划到执行的系统重构。Video-DeepResearch 的意义就在于它把这个重构过程集中在一个具体且高价值的研究任务里。4. 架构推演一个视频研究 Agent 应该有哪些核心模块目前该项目公开的技术细节有限我不会编造具体实现但结合主流的 Agent 架构模式和视频理解技术可以清晰推演出这类系统应有的模块边界。下面的架构也是你自己实现时可以直接参考的蓝图。一个完整的视频 Deep Research Agent至少包含六个模块。问题规划模块。接收用户的研究主题判断哪些子问题需要视频信源支撑。比如用户想研究“某大模型最新版本能力变化”规划模块应输出需要找发布会的视频、需要对比官方文档、需要找到开发者访谈、需要分析演示片段。它不是简单地把问题丢给搜索而是先做信息缺口分析。信源发现模块。根据规划结果检索相关视频。这里的难点是检索质量。常规的文本搜索只能针对视频标题和简介要找到真正有价值的视频可能需要叠加推荐算法、频道订阅关系、语义搜索甚至跨语言检索。内容解析模块。这是视频 Deep Research 最核心的部分。视频进入系统后需要通过 ASR 转写语音通过抽帧和 VLM 理解画面再通过字幕文件获得精准文本。三路信息需要对齐到统一的时间轴。这一步的输出质量直接决定后续研究报告的信息密度。结构化提取模块。原始解析结果仍然太庞杂。需要用大模型把音视频信息提炼成结构化条目主要观点、数据指标、演示步骤、关键结论并保留时间戳和原视频引用。这一步的目的是压缩信息同时保留可溯源性。综合推理模块。将视频提取结果与网页文本、PDF 文档等其他信源的信息融合回答用户的研究问题。这里有两个要求一是不能只复述视频内容要具备多源交叉验证的能力二是生成的报告必须标注每条结论的来源包括来自视频的时间段和原始出处。验证与引用模块。生成结论后需要系统性地检查每条关键结论是否有信息支撑支撑证据是来自可信信源还是低质内容多个信源之间是否存在矛盾引用是否精确到视频的时间点这一步是 Deep Research 和普通问答的分水岭直接决定产品是否能被严肃场景使用。这六个模块构成一个循环而非线性流程。在综合分析阶段如果发现信息不足Agent 应当能回到规划模块重新提出新的子查询继续搜索。这种“研究循环”是 Deep Research 类系统的灵魂。5. 最小实现搭建一个简化版视频研究 Agent下面给一个可以直接跑通思路的最小实现。需要提前说明这不是 Video-DeepResearch 项目的官方复现而是用当前常见的开源工具链演示“视频研究 Agent”的核心流程视频获取、语音转写、画面理解、信息汇总。本示例的技术栈为 Python使用yt-dlp下载视频音频、faster-whisper做语音转写、openai接口风格的视觉模型做画面理解。视频内容建议选择公开授权或你有权使用的素材务必遵守平台条款和版权规定。5.1 环境准备# 建议使用 Python 3.10并创建虚拟环境 python -m venv venv source venv/bin/activate pip install yt-dlp faster-whisper openai # 可选如果需要处理视频抽帧可以安装 ffmpeg # macOS brew install ffmpeg # Ubuntu/Debian # sudo apt install ffmpeg注意openai库不仅可用于 OpenAI 官方服务也可以接兼容 OpenAI 协议的本地模型服务。这里的关键是让视觉模型能读取视频帧并输出描述具体的模型选择请以实际可用服务为准。5.2 核心流程代码创建以下文件# 文件路径video_deep_research.py 简化版 Video Deep Research Agent 示例 功能输入视频链接输出结构化研究摘要 注意本示例用于演示流程未包含完整的 Agent 规划循环和高级记忆系统 import tempfile from pathlib import Path import yt_dlp from faster_whisper import WhisperModel from openai import OpenAI # 请根据实际服务配置支持 OpenAI 官方或兼容服务 client OpenAI(base_urlYOUR_API_BASE_URL, api_keyYOUR_API_KEY) def download_audio(video_url: str, work_dir: Path) - Path: 下载视频的音频流用于语音转写 ydl_opts { format: bestaudio/best, outtmpl: str(work_dir / audio.%(ext)s), quiet: True, } with yt_dlp.YoutubeDL(ydl_opts) as ydl: ydl.download([video_url]) audio_file list(work_dir.glob(audio.*))[0] return audio_file def transcribe_audio(audio_path: Path) - str: 语音转写返回带时间戳的文本 model WhisperModel(small, devicecpu, compute_typeint8) segments, _ model.transcribe(str(audio_path)) lines [] for segment in segments: start segment.start text segment.text.strip() lines.append(f[{start:.1f}s] {text}) return \n.join(lines) def extract_video_frames(video_url: str, work_dir: Path, interval: int 15) - list: 按固定间隔抽帧返回帧图片路径列表 import subprocess video_path work_dir / video.mp4 ydl_opts { format: bestvideo[extmp4]bestaudio[extm4a]/best, outtmpl: str(video_path), quiet: True, } with yt_dlp.YoutubeDL(ydl_opts) as ydl: ydl.download([video_url]) frames_dir work_dir / frames frames_dir.mkdir(exist_okTrue) subprocess.run( [ ffmpeg, -i, str(video_path), -vf, ffps1/{interval}, str(frames_dir / frame_%04d.jpg), ], checkTrue, capture_outputTrue, ) return sorted(frames_dir.glob(*.jpg)) def describe_frame(frame_path: Path) - str: 让视觉模型描述单张视频帧 import base64 with open(frame_path, rb) as f: img_base64 base64.b64encode(f.read()).decode(utf-8) response client.chat.completions.create( modelYOUR_VISION_MODEL, messages[ { role: user, content: [ { type: text, text: 请用中文描述这张视频截图中的关键信息。 如果画面中有文字、图表、数据或操作界面请重点描述。, }, { type: image_url, image_url: { url: fdata:image/jpeg;base64,{img_base64} }, }, ], } ], ) return response.choices[0].message.content def summarize_research(transcript: str, frame_descriptions: list) - str: 基于转写文本和画面描述生成研究摘要 frame_text \n.join(frame_descriptions) prompt f你是一名深度研究助手。以下是某个视频的语音转写文本和画面描述。 请完成以下任务 1. 提炼视频的核心主题和主要观点 2. 列出视频中出现的所有关键数据或指标 3. 如果画面中包含架构图、流程图或操作步骤请概要描述 4. 指出当前信息中的不明确之处方便后续继续研究。 语音转写文本 {transcript[:12000]} 画面描述 {frame_text[:5000]} response client.chat.completions.create( modelYOUR_MAIN_MODEL, messages[{role: user, content: prompt}], ) return response.choices[0].message.content def main(video_url: str): with tempfile.TemporaryDirectory() as tmp: work_dir Path(tmp) print(Step 1: 下载音频...) audio_path download_audio(video_url, work_dir) print(Step 2: 语音转写...) transcript transcribe_audio(audio_path) print(Step 3: 抽取视频画面...) frames extract_video_frames(video_url, work_dir) print(Step 4: 理解视频画面...) frame_descriptions [] for frame in frames: frame_descriptions.append(describe_frame(frame)) print(Step 5: 生成研究摘要...) summary summarize_research(transcript, frame_descriptions) print(\n 研究摘要结果 \n) print(summary) if __name__ __main__: # 用法示例python video_deep_research.py 视频URL import sys if len(sys.argv) 2: print(Usage: python video_deep_research.py video_url) sys.exit(1) main(sys.argv[1])5.3 关键逻辑说明这段代码演示的是一个最基础的视频研究链路音频流下载、ASR 转写、固定间隔抽帧、VLM 帧描述、融合生成研究摘要。三个需要特别注意的设计点第一抽帧间隔直接决定成本。15 秒抽一帧是相对保守的选择适合演讲类视频。如果视频画面变化频繁比如产品操作演示可以把间隔缩短到 5 秒如果只是访谈类内容可以放宽到 30 秒让画面理解辅助语音即可。第二语音转写文本和帧描述在送入最终生成之前必须控制长度。上面的示例用了简单截断实际项目中应该用摘要压缩或结构化提取避免长视频信息丢失。第三最终的研究摘要在真实系统中应该保留引用来源。每一段关键结论都应当记录“来自语音的哪一段”或“来自画面的哪一帧”这样用户才能回溯验证。5.4 运行与验证python video_deep_research.py https://example.com/your-video预期输出控制台会依次打印Step 1到Step 5的进度最终生成一份包含核心观点、关键数据、画面信息、待确认问题的研究摘要如果某个步骤失败会抛出对应异常可以从异常信息判断是网络下载、转写还是模型调用的问题。判断运行是否成功核心标准不是“有没有输出报告”而是三个问题转写文本是否完整反映了视频的主要内容帧描述是否捕捉到了画面中的关键图表或操作界面最终摘要是否同时包含了语音信息和视觉信息而不是只依赖其中一种如果你的运行结果只包含语音转写的内容说明画面理解链路没生效需要检查抽帧和视觉模型调用环节。6. 如何评估一个视频研究 Agent 的效果很多开发者在跑通 Demo 后不知道怎么判断系统“够不够好”。这其实是 Deep Research 类项目最容易被低估的部分研究系统的评估比研究系统本身更难。传统问答系统的评估可以用标准答案匹配但深度研究是开放式任务答案没有唯一性。视频研究还叠加了多模态理解的不可控性所以评估要分成多个层次。解析层评估。只看中间产物不问最终报告。转写文本的字错误率是多少帧描述是否准确识别了图表中的关键数字时间戳对齐精度如何这些指标可以在没有人工标注的情况下用抽样检查来评估。信息覆盖评估。抽出一段视频人工列出它包含的重要信息点然后检查 Agent 的研究摘要覆盖了多少个信息点。覆盖率越高说明系统在“信息获取”环节越成功这是视频 Deep Research 的核心价值。忠实度评估。生成报告中的每一条结论是否能在原始视频中找到依据有没有出现模型幻觉编造视频中不存在的数据这个维度的评估需要把报告中的关键句与视频原文进行比对建议至少抽查 30% 的结论。研究效率评估。完成一个研究任务需要多少时间、多少 Token、多少轮工具调用相比纯人工调研效率提升多少这个维度直接影响产品化成本。参考实现可以用一个简化脚本对生成的报告做逐条来源检查# 文件路径evaluate_report.py 简易评估脚本检查研究摘要中的关键结论是否有引用来源 import re import sys # 示例报告文件每条结论以 - 开头 report_path sys.argv[1] if len(sys.argv) 1 else report.txt with open(report_path, encodingutf-8) as f: content f.read() # 提取所有列表条目 statements re.findall(r^[-*]\s(.)$, content, flagsre.MULTILINE) print(f共提取到 {len(statements)} 条结论) no_source_count 0 for stmt in statements: has_time_ref re.search(r\d{1,2}:\d{2}, stmt) has_source_marker any(marker in stmt for marker in [来源, 参考, 引用, 视频]) if not (has_time_ref or has_source_marker): no_source_count 1 print(f[缺少引用] {stmt}) print(f\n缺少引用的结论数量: {no_source_count}) ratio no_source_count / max(len(statements), 1) print(f未溯源比例: {ratio:.1%})这个脚本虽然简单但它代表了一个重要的产品原则没有溯源能力的研究报告不具备严肃使用价值。7. 多模态 Agent 开发中的常见问题与排查方法结合当前 Agent 开发圈的实践反馈我整理了一份视频研究类 Agent 的高频问题清单。这些问题在纯文本 Agent 里不明显但在多模态场景下会集中暴露。问题现象可能原因排查方式解决方案视频下载失败目标平台限制、网络策略、格式不支持查看 yt-dlp 报错信息检查 URL 是否可访问切换下载策略使用平台许可的数据获取方式转写文本时间戳错乱音频格式问题、采样率不一致检查音频文件信息确认 ffmpeg 转码正常转写前统一音频格式如 16kHz WAV视觉模型描述失真抽帧间隔太大错过关键画面或图像分辨率过低抽样查看帧图片检查原始帧质量降低抽帧间隔必要时对关键片段做局部放大分析Token 成本超限长视频转写文本和大量帧描述同时进入上下文统计各环节 Token 消耗对中间结果做结构化压缩引入摘要缓存最终报告与视频内容不一致转写错误、帧描述错误、生成阶段幻觉用溯源脚本抽查关键结论在生成提示词中强制要求引用时间戳多视频研究时结论相互矛盾不同视频拍摄时间不同、信息版本不同人工核对矛盾点对应的视频片段在报告中标注信息时间并让 Agent 判断版本差异上下文窗口溢出多个视频的研究中间结果累积检查主循环中的上下文长度增加记忆管理模块将历史信息摘要化后存入向量库重点提醒一个容易被忽略的坑不要试图把所有原始视频内容都塞进大模型上下文。视频研究 Agent 真正要做的是“消化”视频而不是“搬运”视频。每一层处理都应该是压缩和提炼而不是堆砌。当你发现上下文越来越长、回答越来越泛化的时候通常不是模型不够强而是中间产物的信息密度太低了。8. 多模态 Agent 工程化的最佳实践建议从 Agent 开发的最佳实践出发结合视频 Deep Research 的特殊性下面是一些在真实项目中更稳妥的做法。第一将视频处理能力封装为独立的 Skill按需组合。不要把转写、抽帧、VLM 描述等逻辑全部写进主循环。每个能力都应该是独立的模块通过VideoTranscripter、FrameExtractor、VisualAnalyzer这样的 Skill 接口暴露。这样做的直接好处是主 Agent 可以在规划阶段决定“这个视频只需要转写不需要画面分析”从而节省大量成本。第二明确 Skill 与 MCP 的边界。Skill 更偏重“怎么把一件事做好”的方法封装MCP 则偏重“如何以标准协议被 Agent 调度”。一个成熟的视频研究系统会用 MCP 标准化视频处理工具的调用方式再用 Skill 封装具体的处理流程。两者不是二选一而是分层配合。第三Harness 和 Agent 的职责要分开。Harness 负责管理执行循环、上下文窗口、工具调用的调度逻辑Agent 只负责推理和决策。很多 Agent 项目最后变得不可维护就是因为没有这个边界导致业务逻辑和循环控制全部耦合在一起。Video-DeepResearch 这类系统涉及多个工具链结构上更应该把 Harness 层和 Agent 层解耦。第四记忆设计必须分短期和长期。短期记忆用于当前研究任务中保存正在分析的视频摘要和中间结论长期记忆用于跨任务复用保存用户过往关注的研究主题、已分析过的视频索引、常用信源的质量评估。多 Agent 协作时长期记忆还是多个专项 Agent 共享知识池的关键。第五安全边界要从数据获取开始约束。视频研究涉及版权、隐私、平台条款等多重问题。系统应当拒绝处理未经授权的商业机密类视频、涉及个人隐私的视频以及平台明确禁止抓取的内容。在工具层要引入访问控制对下载行为设置速率限制保存所有数据获取记录。需要强调任何视频数据的获取和处理都必须基于合法授权和合规渠道不要在未经许可的情况下采集受版权保护的内容。第六评估体系要和系统同步建设。不要等系统开发完了再补评测。从第一个版本开始就应该有信息覆盖率评估、忠实度评估的脚本和标注流程。哪怕是最简单的抽样检查也比没有强得多。第七关注异构信源的信息冲突。视频信息经常与文档信息矛盾。一个 2025 年的发布会视频里说的数据可能和 2024 年的官方文档不一致。Agent 系统应当有能力识别这种版本差异而不是简单地把两段信息拼接在一起。这类矛盾处理逻辑是视频 Deep Research 区别于普通视频总结器的关键能力。9. Agent 开发的核心判断与后续方向回到最开始的判断Video-DeepResearch 这类项目之所以值得关注不是因为它多了一个“视频上传”的功能而是它把深度研究的信源边界从静态文档扩展到了动态世界。对开发者来说这意味着 Agent 开发的重心正在从“如何调工具”转向“如何理解异构信息”。从实际开发的角度我的建议是不要一上来就追求完整复现论文级的系统。先用现有工具链跑通一个最小链路找一个授权视频 → 转写 → 抽帧 → 视觉模型描述 → 汇总报告。这个链路本身就能让你直观感受到多模态 Agent 的体验跳跃和工程痛点。跑通之后再逐步叠加三个方向的能力一是记忆系统让 Agent 能跨视频积累和检索知识二是规划能力让 Agent 自主决定哪些内容值得深入看、哪些可以跳过三是评估体系让研究结论可溯源、可验证。这三个方向做好之后你的系统就已经具备视频 Deep Research Agent 的核心雏形了。视频 Deep Research 还处于很早期。但方向是确定的下一代 Deep Research Agent一定不是只会读文字的“论文检索器”而是能看、能听、能理解世界的多模态研究助手。如果你正在做 Agent 开发现在正是研究这个方向的最佳时机。建议先把本文的代码跑通再按自己的业务场景设计信源和处理链路会比追逐短期热点更有长期价值。