什么是 RAG 文本切分RAG 文本切分是把长文档拆成更小、更聚焦、可以独立检索的文本片段的过程。每个片段通常会被转换成向量存入向量数据库等待用户提问时被检索出来。RAG 是 Retrieval-Augmented Generation 的缩写中文叫“检索增强生成”。它相当于给大语言模型装上一个可以实时查询的外部知识库让模型在回答前先查资料而不是只依赖训练时记住的知识。文本切分是 RAG 知识库建设的第一道工序。PDF、合同、产品手册、帮助中心、Markdown 文档和网页内容通常都要先切成片段再做 embedding 向量化和检索索引。一句话总结RAG 文本切分的目标是让知识库里的每个 chunk 都足够小、足够准、又保留回答问题所需的上下文。RAG 文本切分在整体流程里处于哪一步RAG 的整体流程可以分为三步文档预处理与入库、检索相关片段、基于片段生成答案。文本切分发生在第一步的最前端。一个典型 RAG 系统会这样处理文档1文档预处理与入库把原始文档切成小段每段通过 embedding 模型转换成向量再存进向量数据库。2检索相关片段用户提问后系统把问题也转换成向量找出最相似的 Top K 文本片段。3生成答案系统把命中的片段作为参考上下文连同用户问题一起交给大语言模型生成答案。如果第一步切得不好后面的向量检索和生成都会受影响。检索系统可能找不到正确片段也可能把大量无关内容送进提示词。结论很直接RAG 的答案质量不是只由大模型决定文本切分会直接影响召回率、精确率、成本和响应速度。为什么 RAG 一定要切分文档RAG 需要切分文档因为大模型输入窗口有限整篇文档检索噪音太多向量相似度也会被无关内容冲淡。即使现在一些模型能处理很长的上下文把一整本书或一整份说明书直接塞给模型仍然贵、慢、不稳定。更重要的是长文档作为一条记录去做向量匹配时会混入太多主题。例如用户问“这台咖啡机的保修期是多久”如果整本咖啡机说明书只是一条向量记录里面同时包含清洁方法、冲泡技巧、水箱容量、安全注意事项和配件说明。与“保修期”相关的信号会被其他内容稀释。切分之后说明书会变成多个主题明确的小块•清洁与保养•使用操作指南•保修政策•水箱与配件•安全注意事项当用户询问保修期时系统更容易命中“保修政策”片段并把准确答案交给大模型。一句话总结切分不是为了让文档变短而是为了让每次检索都命中一个主题明确的信息单元。RAG 文本切分的基本原则是什么RAG 文本切分的基本原则是每个片段离开原文后仍然应该是一个信息完整、语义自洽、可以被检索和复用的最小单元。“小”不等于按字数硬砍。切分真正要保护的是上下文。例如技术文档里有一段话第一段介绍背景。第二段说明关键参数。第三段基于以上参数推荐设置如下。如果切点正好落在“以上参数”之前第三段单独检索出来后就会失去关键上文。用户和模型都不知道“以上参数”指什么。好的切分通常满足四个条件•语义边界清晰尽量按标题、段落、列表、句子等自然边界切。•信息足够完整片段里有定义、条件、步骤或结论不只是半句话。•上下文可衔接必要时通过重叠区或标题路径补充前后文。•长度可控片段不能大到混入多个无关主题也不能小到无法回答问题。结论RAG 切分不是“把文本切碎”而是把长文档整理成一组可检索的知识卡片。固定长度切分适合什么场景固定长度切分适合快速处理大量普通文本它通常按目标块大小切分并优先保留段落、句子、空格等自然分隔符。固定长度切分也常被称为递归字符分割。它通常会先设定一个目标块大小例如 512 个字符或 512 个 token然后按分隔符优先级逐层尝试1先按段落切。2段落太长再按句子切。3句子仍然太长再按空格、标点或字符切。4最终确保每个片段不超过目标大小。这种方法的优点是简单、快速、成本低适合批量处理网页、普通说明文、日志、客服话术和结构不复杂的文档。它的缺点是“不懂语义”。固定长度切分可能把一段紧密论证拆散也可能把两个无关句子留在同一个片段里。维度固定长度切分的表现实现成本低工程实现简单处理速度快适合大规模文档语义理解弱主要依赖字符或句子边界适合文档普通文本、网页正文、简单说明文主要风险切断上下文或把无关内容放在同一块一句话总结固定长度切分是 RAG 的默认起点但不是所有文档的最优解。语义切分为什么更精准语义切分更精准因为它根据文本主题是否发生变化来决定切点而不是预先固定每块必须多长。一种常见做法是先把文本按句子或小段拆开再用 embedding 模型计算相邻句子的语义相似度。当相似度突然下降通常说明话题发生了转换这里就可能是自然分割点。另一种更精细的做法是使用一个专门的小模型判断两个分句是否属于同一个语义段落。如果属于同一主题就合并如果话题切换就分开。语义切分的优势是块内内聚性更高。每个片段更可能围绕一个定义、一个步骤、一个风险或一个结论展开检索命中后也更容易被模型理解。语义切分适合这些文档•技术方案一段内容里可能包含背景、论证、配置和结论。•研究报告章节长、概念多主题转换不总是靠标题表达。•FAQ 和客服知识库问题相似但答案细节不同需要减少混淆。•法律和合同文本条件、例外、适用范围必须保持完整。需要注意的是语义切分通常比固定长度切分更贵。它要额外调用 embedding 或模型判断也需要更多调参和评估。结论当文档语义复杂、检索精度比处理成本更重要时语义切分通常更值得使用。结构化切分如何提升召回率结构化切分会利用文档自带的层级结构例如 HTML 标题、Markdown 标题、PDF 目录、表格标题和章节编号。它的优势是把作者已经划好的语义边界直接用于检索。很多文档天然有结构•HTML 有h1、h2、h3标题。•Markdown 有#、##、###标题。•产品手册有章、节、小节和步骤。•PDF 可能有目录树、页码、表格和图注。结构化切分不仅按结构切还可以把层级路径写入片段开头。例如产品说明书 维护章节 清洁步骤每次使用后应取出滤网并用温水冲洗...这样做有一个重要好处即使片段正文里没有直接出现“维护”两个字标题路径仍然能帮助向量检索或混合检索召回它。文档结构推荐切分方式可加入片段的元信息Markdown 文档按标题层级切分标题路径、代码块语言、章节名HTML 页面按标题和 DOM 区块切分页面标题、URL、面包屑导航PDF 手册按目录、页码和段落切分文档名、页码、章节标题产品知识库按问题、答案和标签切分产品线、版本、适用范围合同和制度按条款编号切分条款号、生效日期、文件版本一句话总结结构化切分把“文档本来怎么组织”变成检索线索能显著提升召回质量。RAG 文本切分切多大才精准RAG 文本切分的常见经验区间是 256 到 1024 个 token。精确大小要根据文档类型、用户问题粒度、检索 Top K、模型上下文窗口和成本预算一起调整。块大小决定每个片段包含多少信息。太大和太小都会降低效果。块大小优点风险适合场景128 到 256 token命中更精细噪音少容易切碎完整步骤或上下文FAQ、短问答、字段解释256 到 512 token平衡精度和完整性复杂段落可能仍需重叠区产品文档、帮助中心、普通知识库512 到 1024 token上下文更完整可能混入多个主题输入成本更高技术文档、政策说明、长步骤教程1024 token 以上保留长逻辑链检索噪音增加Top K 成本上升少量高价值长文档、需要完整章节的场景如果用户问题很短、答案通常是一句话例如“保修期多久”块可以小一些。如果用户问题需要完整步骤例如“如何配置单点登录”块应该更大或者使用结构化切分加重叠区。一个实用起点是•FAQ 和客服知识库200 到 400 token。•产品手册和帮助中心300 到 800 token。•技术文档和教程500 到 1000 token。•法律、合同、制度按条款切分再控制在 500 到 1200 token。•学术论文和报告按章节或小节切分再用语义切分细化。结论不要只问“切多大”更应该问“这个片段能否独立回答一个真实问题”。重叠区应该设置多少重叠区是相邻片段之间故意保留的一段重复内容。它的作用是修复切点附近的上下文断裂让检索到的片段读起来更连贯。例如块大小为 500 字重叠区为 50 字。片段 A 的末尾 50 字会出现在片段 B 的开头。这样被切断的句子、条件或段落在下一个片段里还能找回上文。常见重叠区可以这样设置块大小推荐重叠区说明200 到 400 token20 到 60 token适合短问答避免重复太多400 到 800 token50 到 120 token常见知识库默认配置800 到 1200 token100 到 200 token适合长步骤和技术说明重叠区不是越大越好。重叠太小上下文容易断重叠太大会造成索引膨胀、重复召回和输入 token 浪费。一句话总结重叠区的目标是补上下文不是复制整段文档。固定切分、重叠修复和语义切分有什么区别固定切分、重叠修复和语义切分的核心区别是切点由什么决定。固定切分主要由长度决定重叠修复用重复内容弥补切断问题语义切分则尽量让切点落在主题边界。以厨具说明书为例原文有两句话热水模式下最高温度可达到 120 摄氏度。在该模式下建议配合不锈钢滤网使用以免硅胶部件变形。如果固定切分恰好把两句话分到两个片段第二个片段里的“该模式”就会指代不明。检索出来后模型不知道它指的是热水模式。加入重叠区后第二个片段会带上上一块的最后一两句话上下文更完整。如果使用语义切分系统更可能把这两句话归到同一个“热水模式使用注意事项”片段里因为它们共同描述同一使用条件下的限制和建议。方案切分结果主要问题或优势固定切分可能把两句相关内容切开上下文断裂指代不明固定切分加重叠区第二块带上一部分上文能修复切点附近的上下文语义切分相关句子更可能留在同一块信息更聚合阅读和检索更自然结论如果只是快速上线可以从固定切分加重叠区开始如果对准确率要求高应逐步引入结构化切分或语义切分。切分完成后还要做什么文本切分完成后通常还要添加元数据、筛选候选范围、执行向量匹配、排序结果并把命中的片段拼接成提示词。切分只是入库前的第一步。一个更完整的处理流程包括1添加元数据给每个片段记录来源文档名、页码、URL、章节、版本、最后更新时间和权限范围。2元数据筛选检索前先按产品线、语言、时间、权限或文档类型缩小候选范围。3向量相似度匹配在候选片段中找出和用户问题最接近的内容。4结果排序按相关性得分排序也可以保留原文顺序让上下文更自然。5插入分隔说明在片段之间加入来源和分隔符提醒模型这些信息来自不同位置。6拼接提示词把最终片段和用户问题一起交给大模型。实际工程里很多 RAG 系统还会加入关键词检索、重排序模型、去重、权限校验和引用生成。文本切分越清晰后续步骤越容易稳定。一句话总结切分决定候选片段的质量元数据和排序决定最终送给模型的上下文质量。不同文档应该怎么选择切分策略不同文档应该按内容结构、答案粒度和风险要求选择切分策略。没有一套参数可以适用于所有 RAG 知识库。下面是一个可直接用于项目评估的选择表文档类型推荐策略推荐块大小注意事项FAQ 问答一问一答切分100 到 400 token不要把多个相似问题混在一块产品说明书结构化切分加重叠区300 到 800 token保留章节路径、页码和版本技术文档按标题和代码块切分500 到 1000 token不要切断代码块和参数说明合同条款按条款编号切分500 到 1200 token保留定义、例外、适用范围学术论文章节切分加语义切分700 到 1200 token保留方法、实验和结论边界新闻报道按事件和段落切分300 到 700 token保留时间、地点、人物和事件社交媒体内容按单条或话题聚合100 到 300 token避免把不同观点混在一起判断切分是否合适可以用三个问题1这个片段单独拿出来是否能被人理解2这个片段是否围绕一个明确主题3这个片段是否小到足够精准不会把无关信息混进检索结果如果三个问题都能回答“是”这个切分通常就是可用的。RAG 文本切分有哪些常见错误RAG 文本切分常见错误包括只按字数硬切、忽略文档结构、重叠区过大或过小、缺少元数据、没有用真实问题评估效果。常见问题可以分成五类错误后果修正方式只按固定字数硬切切断句子、步骤和指代关系优先按标题、段落、句子切块太大检索噪音高输入成本高缩小 chunk size 或按主题再切块太小单块信息不足无法回答问题增大块大小或加入重叠区忽略标题路径片段失去章节语义把文档名、章节、小节写入片段不做评估参数靠感觉效果不可控用真实问题集测试召回率和答案质量评估切分效果时不要只看向量相似度分数。更应该准备一组真实用户问题检查系统能否召回正确片段并让模型基于片段给出完整答案。结论文本切分需要用真实问题验证而不是只靠默认参数。常见问题RAG 文本切分和普通分段有什么区别RAG 文本切分不是排版意义上的分段而是检索意义上的知识单元划分。它要求每个片段能被向量化、能被检索、能作为模型回答问题的上下文。Chunk Size 应该按字符算还是按 token 算工程上更建议按 token 算因为大模型上下文窗口和调用成本通常按 token 计算。中文场景也可以先用字符数做粗略控制但最终评估应回到 token 数和检索效果。RAG 文本切分越小越精准吗不是。片段太小会丢失上下文导致一个完整步骤、一个条款条件或一个技术说明被切散。精准切分的目标是“最小但完整”不是越短越好。重叠区越大越好吗不是。重叠区太大会让索引变大、重复内容变多、检索结果相互冗余还会浪费输入 token。重叠区只需要覆盖切点附近必要的上下文。固定长度切分还能不能用可以。固定长度切分适合作为快速上线的基线方案尤其适合结构简单、主题变化不复杂的文档。对高价值知识库可以在固定切分基础上加入标题路径、重叠区、语义切分和重排序。怎么判断 RAG 切分参数是否合适最可靠的方法是用真实问题测试。准备一组用户会问的问题检查 Top K 检索结果是否包含正确片段再观察大模型能否基于这些片段生成准确答案。总结RAG 文本切分是把长文档拆成可检索、可向量化、语义完整的小片段的过程。它发生在知识库入库的最前端却会影响后续检索、排序、提示词拼接和最终回答质量。切分大小没有统一答案。一个常用起点是 256 到 1024 个 token并配合 10% 到 20% 左右的重叠区再根据文档类型和真实问题评估结果调整。最终目标始终不变让每个片段离开原文后依然是一个信息完整、语义自洽的最小单元同时又要小到足够精准不会把无关内容混进检索结果。做好文本切分RAG 才能从“能搜到”变成“搜得对”大模型也才更可能给出值得相信的答案。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】