假设你手里有一段一小时的公司培训视频里面讲了年假、报销和考勤制度。现在有人问“年假要怎么申请”最笨的办法是把视频从头看一遍。更理想的办法是让系统直接找到讲年假的那几十秒整理出答案同时把原视频和时间位置交给你复查。这正是很多人希望 RAG 做到的事。RAG 这个名字听起来有点技术其实就是先从指定资料里找内容再让大模型根据找到的内容回答。它和普通聊天的区别在于大模型回答之前会先“翻资料”。但找到资料也不代表一定答对答案最好还能回到原文检查。问题来了PDF、Word 都可以作为资料视频也是一个文件为什么不能直接扔进知识库因为知识库真正需要的不是一个文件名而是可以搜索、可以定位、可以核验的内容片段。保存一个 MP4只说明服务器里多了一个文件。系统依然不知道第几分钟讲了什么也不知道答案藏在声音里、字幕里还是某一页 PPT 上。这就像一间图书馆。把书搬进仓库只解决了“有没有保存”的问题。读者想根据一句话找到具体内容还需要目录、页码和可以检索的正文。视频文件就像一本只有封面、没有目录的书。它能播放但搜索系统还看不懂里面的内容。所以“支持上传视频”和“支持搜索视频”是两回事。前者关心文件能不能保存后者关心内容能不能被拆出来、建立索引并在回答时回到正确位置。所以视频进入 RAG 之前先要经历一次“把内容拆出来”的过程。RAG 索引的是内容证据不是文件名本文讨论的是讲解、培训、教学录播这类以人声和演示画面为主的视频以及“先把内容转成文本再进行检索”的常见做法。能直接理解视频的多模态模型是另一条路线不在这篇文章的范围内。一、PDF 为什么相对容易先从更熟悉的文档说起。一份 PDF 进入知识库后通常不会在每次提问时都把整本文件交给模型。系统会先把里面的文字取出来再整理成许多较短的内容片段。比如一份员工手册可以拆成年假申请条件 年假审批流程 报销所需材料 试用期考核规则每一段都尽量只讲清一件事。这样用户问“休假怎么走审批”时系统不必把整本手册翻一遍只要先找到“年假审批流程”这一段。PDF、Word 和 Excel 的处理方式不同。PDF 往往按页提取文字Word 可以参考标题和段落Excel 则要注意表头、行列和单元格之间的关系。但它们的目标一致既拿到正文也保留“这段话来自哪里”。文字取出来以后还要变成便于比较意思的一组数字坐标这一步叫 Embedding。不熟悉这个词也没关系。你只需要知道系统可以借助这些数字比较两段话在意思上是否接近。用户写“休假怎么审批”原文即使写的是“年假申请流程”系统也有机会把它找出来。专门存储这些数字坐标、并支持按相似度搜索的资料库通常叫向量数据库。找到相关片段后系统才会把用户的问题和片段原文一起交给大模型。大模型负责把资料整理成通顺的回答页面再把文件名、页码或章节展示出来。整个过程可以压缩成一条线读取文件 → 切成内容片段 → 建立索引 → 找到相关片段 → 整理答案 → 展示来源 ![](http://cdn.zhipoai.cn/d48b2140.jpg) 一份 PDF 从读取到回答问题的过程 PDF 之所以能被搜索不是因为它上传成功而是因为里面的文字已经被取出、整理并建立了索引。 如果把用户的一次提问放进这条链路过程会更直观。 用户写下“年假怎么走审批”系统先把这句话也变成便于比较意思的数字坐标再去资料库里寻找最接近的内容。它可能找到标题为“年假审批流程”的片段尽管用户和原文没有使用完全相同的词。随后大模型根据这一小段资料整理答案页面把员工手册名称和页码一起显示出来。 如果原始 PDF 是扫描图片根本没有可提取的文字它同样需要先做图片文字识别。文件后缀本身不决定能不能搜索内容有没有变成机器可处理的形式才是关键。 二、视频比 PDF 多了什么 --------------- 文档里通常已经有文字视频里的信息却主要藏在声音和画面中。 对讲解类视频来说第一件事是把人声变成字幕。这个过程常被称为 ASR也就是语音识别。 只得到一整篇字幕还不够。如果还希望用户能够回到原视频字幕最好同时保留时间位置例如 plaintext 08:12 - 08:19 申请年假前先确认剩余额度 08:19 - 08:27 然后在系统里提交申请 08:27 - 08:34 审批通过后申请才正式生效时间位置有两个用处。一是告诉系统哪些句子原本挨在一起。二是在播放器支持按时间定位时让用户点击来源后跳到 08:12而不是从一小时视频的开头慢慢寻找。时间还关系到声音和画面的对应。讲解者在 08:20 说“看这张表”系统只有知道这句话出现的时间才有机会去同一时间附近寻找 PPT 画面。时间丢了字幕和画面就像被打乱的两摞卡片很难再准确拼回去。但逐句字幕往往太碎直接拿来搜索容易丢掉上下文。假如知识库里只有“然后在系统里提交申请”这一句用户并不知道提交的是年假、报销还是请假。系统需要参考标点、停顿、时间间隔和内容是否连贯把相邻字幕合并成一段能够独立说清楚事情的文字。视频比 PDF 多出的语音识别与时间处理声音处理完问题还没有全部解决。讲解者可能会说“具体数字看右边这张表。”这句话本身没有答案真正的信息在 PPT 或操作画面里。遇到这类视频可以进一步从关键画面中读取文字再把它和同一时间段的字幕放在一起。图片文字识别常被称为 OCR。它能帮助读出画面上的文字和数字但不能自动保证自己理解了表格关系更不能替代人工核验。对本文讨论的讲解类视频可以把处理过程分成三层人声先变成带时间的字幕相邻字幕再合并成语义完整的片段如果答案依赖画面还要补充同一时间段的画面文字。完成这些处理后大部分文档 RAG 的索引、检索和回答链路才能继续复用。三、为什么字幕不能随便切把字幕切成片段看起来只是一个排版动作实际上会直接影响后面的搜索。还是用年假申请举例。原始内容是申请年假前需要先确认剩余额度。 确认后在系统里选择休假日期并提交审批。 直属负责人和人事审批通过后申请才正式生效。如果第一段停在“选择休假日期”下一段从“并提交审批”开始用户问“年假怎么申请”时系统即使找到了其中一段也可能只拿到半个流程。片段过短容易失去上文片段过长又可能把年假、报销、考勤几个主题混在一起。搜索年假时一大段无关内容也会跟着进入答案生成环节。更合适的目标不是“每段长度一样”而是“每段尽量独立说清一件事”。文档可以参考标题、段落、列表和表格边界。视频可以参考标点、停顿、时间间隔、章节变化和 PPT 切换。至于一段究竟应该多长没有一个适合所有资料的固定数字需要拿自己的内容和问题去测试。内容片段过短、过长与语义完整的区别这一步很容易被忽略。很多“明明资料里有答案却搜不到”的问题未必出在大模型也可能是答案在切分时被拆散了。四、真正进入知识库的是什么经过处理后进入知识库的不再是整条视频而是一组内容片段。每个片段至少要保存两类信息。第一类是“讲了什么”也就是用于搜索的字幕或画面文字。第二类是“来自哪里”包括视频名称、开始时间、结束时间必要时再加章节名称或对应的 PPT 页面。两类信息缺一不可。只有来源、没有内容系统无法按照意思搜索只有内容、没有来源即使答案碰巧正确用户也很难判断它是否忠于原视频。用白话表示一段视频知识可以长这样内容申请年假前先确认剩余额度然后在系统里提交申请 来源员工制度讲解 位置08:12 到 08:27 章节年假申请这里的内容负责参与搜索来源信息负责让用户回到原视频。示例只用于解释结构不是某个真实项目的业务记录。文字负责搜索来源信息负责定位与检查现在再看用户的问题“视频里是怎么讲年假申请的”系统先在已经建立索引的字幕片段中寻找意思接近的内容。如果找到了上面这段文字就把它连同问题一起交给大模型。大模型整理出申请步骤答案旁边同时显示视频名称和 08:12 到 08:27。在这条以字幕索引为主的链路里大模型并没有临时看完一小时视频。真正参与回答的是提前处理好的几个内容片段。如果字幕缺失、时间不对或者片段没有进入索引只更换回答模型通常不能解决根本问题。搜索负责“把证据找出来”大模型负责“把证据说清楚”。如果第一步找错了第二步写得越流畅反而越容易让人误信。做 RAG 时不能只盯着最后那段回答还要回头看它究竟拿到了哪些原文。五、资料里没有答案时怎么办搜索系统通常会从资料库里挑出“最接近”的内容。但最接近不等于真正相关。如果员工手册里根本没有“海外差旅补贴”的规定系统仍然把一段国内报销流程交给大模型模型就可能生成一段听起来合理却没有资料依据的答案。可以先给搜索结果设一道相关程度门槛。达到要求才根据资料回答低于门槛就明确说“现有资料中没有找到答案”。找到最接近的资料后还要判断是否真的相关门槛不能凭感觉设定。太低容易把无关资料当答案太高又可能拒绝本来有答案的问题。测试时同时准备两类问题一类在资料里确实有答案另一类明确没有答案。观察系统该回答时有没有找到该拒绝时有没有忍住。这个检查与视频同样有关。视频里没有讲过的内容不应该因为系统“总能找出几段相近字幕”就被包装成答案。六、怎么判断视频 RAG 真的有用页面能够上传视频聊天框能够返回一段话只能说明流程跑起来了不能说明结果可靠。验证之前先准备一批来自真实资料的问题。每个问题都要人工确认三样东西正确答案是什么答案来自哪条视频以及正确内容位于哪个时间段。例如人工先确认“年假申请需要哪些审批”这个问题的答案位于 08:12 到 08:34。测试时不是只看系统有没有写出一段通顺的话而是顺着结果往回检查它找回的是不是这段字幕关键信息有没有缺失答案有没有添上原视频没说的条件点击来源能不能回到对应位置。这样一查问题出在哪里会更清楚。字幕根本没被找回应该先检查切分和搜索字幕找对了但回答漏掉一步再检查交给模型的内容是否完整答案没问题但跳转时间错误则要查来源信息和播放器定位。不同问题需要修不同环节不能全部归结为“大模型不够强”。接下来检查四件事。先看有没有找对。用户问年假搜索结果里应该出现讲年假的字幕而不是只因为“申请”两个字相同就找回报销流程。再看证据够不够。如果完整答案需要连续两段字幕系统只找回一段生成的回答就可能漏掉关键步骤。然后看回答有没有超出资料。模型写出的事实应当能在字幕或画面文字中找到依据。资料没写的内容即使听起来合理也不能当成已确认事实。最后看来源是否对得上。回答标注 08:12点击后就应该回到讲这件事的位置。来源写得很漂亮却指向错误时间同样无法让用户复查。视频 RAG 从找到资料到来源核验的四项检查这四项检查分别对应“找对、找全、不乱说、指对位置”。第一次接触 RAG先把这四句话看懂比急着记一串英文指标更重要。测试问题也不能只挑最容易的。题目里要有原话能直接搜到的、换一种说法的、需要相邻两段字幕才能回答的还要有资料中明确没有答案的。这样才能知道系统是在真正寻找证据还是只对少数关键词碰巧有效。视频时间跳转、字幕和画面对齐都属于需要实现并验证的设计。没有播放器记录、测试问题和原始结果就只能说“准备这样做”或“已经跑通这一步”不能直接写成“效果提升了多少”。如果只用一段话回答标题不能直接复用。PDF 通常已经有可以提取的文字和页码讲解类视频要先把人声变成带时间的字幕再把相邻字幕合并成意思完整的片段。如果答案还藏在 PPT 或操作画面里就要补充同一时间段的画面文字。完成这些处理后后面的索引、搜索和回答链路才可以大部分复用。如果没有实际视频样本和测试结果只能说这是扩展方案不能说已经做好。视频 RAG 的难点不只是把文件后缀从 PDF 换成 MP4。真正要解决的是怎样把一小时视频变成一组能够搜索、能够回到原位置、也能够让人检查的内容证据。知识库接收的不是文件而是可以被找到和核验的内容。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】