草莓熊Lotso个人主页❄️个人专栏:《C知识分享》 《Linux 入门到实践零基础也能懂》✨生活是默默的坚持毅力是永久的享受 博主简介文章目录前言一. RAG 流程与文档加载的作用1.1 RAG 的完整工作流程1.2 文档加载的核心任务二. LangChain 文档的统一表示Document 类2.1 Document 类的核心属性2.2 手动创建 Document 对象2.3 metadata 的重要性三. 实战加载常见格式的文档3.1 加载 PDF 文档3.1.1 安装依赖3.1.2 完整代码示例3.1.3 结果解析3.1.4 PyPDFLoader 的优缺点3.2 加载 Markdown 文档3.2.1 安装依赖3.2.2 single 模式整体加载3.2.3 elements 模式按元素拆分3.2.4 元素类型详解3.2.5 层级关系parent_id 与 element_id3.3 其他常见文档加载器简介四. 文档加载的最佳实践与常见问题4.1 大文件加载的优化策略4.2 元数据的合理使用4.3 不同加载器的选择建议4.4 乱码与格式问题的解决方法结尾前言大型语言模型LLM虽然拥有强大的语义理解和文本生成能力但存在两个致命的局限性训练数据有截止日期无法获取实时信息无法访问私有数据如企业内部文档、个人笔记等。为了解决这些问题检索增强生成Retrieval-Augmented Generation, RAG技术应运而生成为当前大模型应用的核心模式。RAG 的核心思想是当用户提问时系统首先在私有知识库中进行语义搜索找到最相关的内容然后将这些内容和问题一起交给 LLM 生成答案。而构建 RAG 系统的第一步就是将各种格式的数据源PDF、Markdown、Word、网页等加载并转换为 LLM 能够理解的统一格式。LangChain 作为最流行的大模型应用开发框架提供了100 多种文档加载器几乎覆盖了所有常见的数据格式和来源。本文将深入讲解 LangChain 文档加载器的核心原理并通过实战演示如何加载 PDF 和 Markdown 这两种最常用的文档格式。一. RAG 流程与文档加载的作用1.1 RAG 的完整工作流程RAG 系统的运行分为离线数据处理和在线检索生成两个阶段离线数据处理文档加载 → 文本分割 → 向量嵌入 → 向量存储 在线检索生成用户查询 → 向量检索 → 提示词构建 → LLM 生成答案文档加载从各种来源读取数据转换为 LangChain 统一的Document对象列表文本分割将长文档切分为适合模型上下文窗口的小块向量嵌入将文本块转换为高维向量保留语义信息向量存储将向量存入向量数据库支持高效的相似性搜索向量检索根据用户查询的向量找到最相似的文本块提示词构建将查询和检索到的文本块组合成提示词LLM 生成大模型根据提示词生成最终答案1.2 文档加载的核心任务文档加载器的核心任务是将不同格式、不同来源的非结构化数据转换为 LangChain 标准的Document对象列表。每个Document对象代表文档的一个片段通常是一页或一个段落包含文本内容和相关元数据。这种统一的表示方式使得后续的文本分割、向量嵌入等步骤可以标准化处理无需关心原始数据的格式。二. LangChain 文档的统一表示Document 类在 LangChain 中所有文档都被抽象为langchain_core.documents.base.Document类。无论你加载的是 PDF、Markdown 还是网页最终都会生成这个类的实例。2.1 Document 类的核心属性Document类有三个核心属性page_content字符串类型存储文档的文本内容这是最核心的属性metadata字典类型存储与内容关联的任意元数据如文档来源、页码、作者、创建时间等id可选的文档标识符理想情况下在整个文档集合中唯一2.2 手动创建 Document 对象你可以直接手动创建Document对象这在测试或处理简单数据时非常有用fromlangchain_core.documentsimportDocument# 创建单个Document对象doc1Document(page_content狗是很好的伴侣以忠诚和友好而闻名。,metadata{source:mammal-pets-doc,page:1})doc2Document(page_content猫是独立的宠物经常享受自己的空间。,metadata{source:mammal-pets-doc,page:2})# 文档列表documents[doc1,doc2]print(f文档1内容{doc1.page_content})print(f文档1元数据{doc1.metadata})2.3 metadata 的重要性metadata虽然是可选属性但在实际应用中至关重要溯源当 LLM 生成答案时可以通过元数据告诉用户答案来自哪个文档的哪一页过滤在向量检索时可以先根据元数据过滤文档如只搜索特定来源或特定日期的文档排序可以根据元数据对检索结果进行排序如优先显示最新的文档三. 实战加载常见格式的文档3.1 加载 PDF 文档PDF 是最常见的文档格式之一LangChain 提供了多种 PDF 加载器其中最常用的是PyPDFLoader。3.1.1 安装依赖首先安装pypdf库这是PyPDFLoader的依赖pipinstallpypdf3.1.2 完整代码示例fromlangchain_community.document_loadersimportPyPDFLoader# 1. 初始化加载器传入PDF文件路径file_path./脚手架级微服务租房平台QA.pdfloaderPyPDFLoader(file_path)# 2. 加载PDF文档将每一页转换为一个独立的Document对象docsloader.load()# 3. 查看加载结果print(fPDF 文件总页数{len(docs)})print(-*50)print(f第一页文本内容前200个字符\n{docs[0].page_content[:200]})print(-*50)print(f第一页元数据\n{docs[0].metadata})3.1.3 结果解析运行上述代码你会看到类似以下的输出PDF 文件总页数32 -------------------------------------------------- 第一页文本内容前200个字符 脚手架级微服务租房平台 通⽤问题 1. 为什么做这个项⽬? • 回答1:(出于兴趣爱好开发) 大学期间,我和同学在外合租过一段时间,使⽤了一些租房平台,于是我有个想法,⾃己能不能开发 一个租房平台,可以让我将理论知识与实践相结合我希望通过实际项⽬来加深对Java编程语⾔和相 关技术的理解于是我便查找了一些资料,看了一些开源项⽬,进⾏了一些改进 • 回答2:(开源项⽬的解释) 这个 -------------------------------------------------- 第一页元数据 {producer: pdfcpu v0.8.1 dev, creator: Chromium, creationdate: 2025-08-28T17:52:3408:00, moddate: 2025-08-28T17:52:3408:00, source: ./脚手架级微服务租房平台QA.pdf, total_pages: 32, page: 0, page_label: 1}从结果可以看出PyPDFLoader会将 PDF 的每一页转换为一个独立的Document对象元数据中包含了丰富的信息如文档来源source、总页数total_pages、当前页码page等3.1.4 PyPDFLoader 的优缺点优点简单易用无需复杂配置速度快适合大多数标准 PDF 文档自动提取页码等元数据缺点对于包含复杂布局、图表或扫描件的 PDF 效果不佳可能会丢失一些格式信息3.2 加载 Markdown 文档Markdown 是技术文档最常用的格式之一LangChain 提供了UnstructuredMarkdownLoader来加载 Markdown 文档它支持两种加载模式single和elements。3.2.1 安装依赖首先安装所需的依赖库pipinstallunstructured[md]nltk3.2.2 single 模式整体加载single模式是默认模式会将整个 Markdown 文档作为一个单独的Document对象返回fromlangchain_community.document_loadersimportUnstructuredMarkdownLoaderfromlangchain_core.documentsimportDocument# 1. 初始化加载器使用single模式默认markdown_path./脚手架级微服务租房平台QA.mdloaderUnstructuredMarkdownLoader(markdown_path,modesingle)# 2. 加载文档dataloader.load()# 3. 查看结果print(f文档数量{len(data)})assertlen(data)1assertisinstance(data[0],Document)print(-*50)print(f文档内容前200个字符\n{data[0].page_content[:200]})print(-*50)print(f文档元数据\n{data[0].metadata})运行结果文档数量1 -------------------------------------------------- 文档内容前200个字符 通用问题 为什么做这个项目? 回答1 (出于兴趣爱好开发) 大学期间,我和同学在外合租过一段时间,使用了一些租房平台,于是我有个想法,自己能不能开发 一个租房平台,可以让我将理论知识与实践相结合我希望通过实际项目来加深对 Java 编程语言和相 关技术的理解于是我便查找了一些资料,看了一些开源项目,进行了一些改进 -------------------------------------------------- 文档元数据 {source: ./脚手架级微服务租房平台QA.md}3.2.3 elements 模式按元素拆分elements模式会将 Markdown 文档按语义元素拆分生成多个Document对象每个对象代表一个独立的元素如标题、段落、列表、表格等fromlangchain_community.document_loadersimportUnstructuredMarkdownLoader# 1. 初始化加载器使用elements模式loaderUnstructuredMarkdownLoader(markdown_path,modeelements)# 2. 加载文档dataloader.load()# 3. 查看结果print(f文档数量{len(data)})print(-*50)print(前3个文档数据)fordocumentindata[:3]:print(f{document}\n)运行结果文档数量441 -------------------------------------------------- 前3个文档数据 page_content通用问题 metadata{source: ./脚手架级微服务租房平台QA.md, category_depth: 0, languages: [zho], file_directory: ., filename: 脚手架级微服务租房平台QA.md, filetype: text/markdown, last_modified: 2025-08-29T10:56:36, category: Title, element_id: 3a0670f9bfd58576e430ef11def41593} page_content为什么做这个项目? metadata{source: ./脚手架级微服务租房平台QA.md, category_depth: 2, emphasized_text_contents: [为什么做这个项目?], emphasized_text_tags: [b], languages: [zho], file_directory: ., filename: 脚手架级微服务租房平台QA.md, filetype: text/markdown, last_modified: 2025-08-29T10:56:36, parent_id: 3a0670f9bfd58576e430ef11def41593, category: Title, element_id: fcb08b2a85942455eecebb9467ffca4c} page_content回答1:(出于兴趣爱好开发) metadata{source: ./脚手架级微服务租房平台QA.md, emphasized_text_contents: [回答1:(出于兴趣爱好开发)], emphasized_text_tags: [b], languages: [zho], file_directory: ., filename: 脚手架级微服务租房平台QA.md, filetype: text/markdown, last_modified: 2025-08-29T10:56:36, parent_id: fcb08b2a85942455eecebb9467ffca4c, category: UncategorizedText, element_id: a6fc0b5a457d21234bf1c4a6ae0a18db}3.2.4 元素类型详解在elements模式下每个Document对象的metadata中都有一个category字段表示该元素的类型。常见的类型包括类型描述Title标题包括一级、二级、三级等所有级别的标题NarrativeText叙述性文本一个或多个连续的段落ListItem列表项包括无序列表和有序列表Table表格Image图片UncategorizedText未分类文本如脚注、图片说明等你可以通过以下代码查看文档中包含的所有元素类型print(set(document.metadata[category]fordocumentindata))# 输出{Image, Title, ListItem, Table, NarrativeText, UncategorizedText}3.2.5 层级关系parent_id 与 element_id在elements模式下每个元素都有一个唯一的element_id同时子元素会有一个parent_id指向其父元素的element_id。通过这两个字段我们可以还原出 Markdown 文档的完整层级结构。例如在上面的输出中“通用问题” 是一级标题element_id为3a0670f9bfd58576e430ef11def41593“为什么做这个项目” 是二级标题parent_id指向 “通用问题” 的element_id“回答 1:(出于兴趣爱好开发)” 是二级标题下的内容parent_id指向 “为什么做这个项目” 的element_id3.3 其他常见文档加载器简介除了 PDF 和 MarkdownLangChain 还支持加载多种其他格式的文档文档格式加载器安装依赖网页WebBaseLoaderpip install beautifulsoup4Word (.docx)Docx2txtLoaderpip install docx2txtCSVCSVLoader无需额外依赖Excel (.xlsx)UnstructuredExcelLoaderpip install unstructured[xlsx]JSONJSONLoader无需额外依赖四. 文档加载的最佳实践与常见问题4.1 大文件加载的优化策略分块加载对于非常大的文档如几百页的 PDF可以使用支持分块加载的加载器避免一次性加载整个文件到内存异步加载使用异步加载器如AsyncPyPDFLoader提高加载速度增量加载如果文档会更新可以只加载新增或修改的部分而不是重新加载整个文档4.2 元数据的合理使用始终在metadata中包含source字段以便后续溯源对于多页文档包含page字段指明内容来自哪一页根据业务需求添加自定义元数据如author、create_time、category等4.3 不同加载器的选择建议对于标准 PDF 文档优先使用PyPDFLoader对于包含复杂布局或扫描件的 PDF可以使用PyMuPDFLoader或PDFPlumberLoader效果更好对于 Markdown 文档如果只需要整体内容使用single模式如果需要保留文档结构使用elements模式对于网页优先使用WebBaseLoader如果需要更强大的爬取能力可以使用SeleniumLoader或PlaywrightLoader4.4 乱码与格式问题的解决方法确保文档本身没有损坏尝试使用不同的加载器不同的加载器对格式的支持程度不同对于中文乱码问题检查文档的编码格式通常使用 UTF-8 编码对于格式丢失问题可以在加载后进行简单的文本清洗如去除多余的空白字符本文的核心要点RAG 流程离线处理加载 - 分割 - 存储和在线检索检索 - 生成Document 类LangChain 中文档的统一表示包含page_content和metadata两个核心属性PDF 加载使用PyPDFLoader每页生成一个Document对象Markdown 加载支持single整体加载和elements按元素拆分两种模式最佳实践合理使用元数据根据文档格式选择合适的加载器优化大文件加载结尾 我是草莓熊 Lotso若这篇技术干货帮你打通了学习中的卡点 【关注】跟我一起深耕技术领域从基础到进阶见证每一次成长 ❤️ 【点赞】让优质内容被更多人看见让知识传递更有力量 ⭐ 【收藏】把核心知识点、实战技巧存好需要时直接查、随时用 【评论】分享你的经验或疑问比如曾踩过的技术坑一起交流避坑 ️ 【投票】用你的选择助力社区内容方向告诉大家哪个技术点最该重点拆解 技术之路难免有困惑但同行的人会让前进更有方向愿我们都能在自己专注的领域里一步步靠近心中的技术目标结语文档加载是构建 RAG 系统的第一步也是至关重要的一步。LangChain 提供的文档加载器极大地简化了不同格式数据的处理过程让开发者可以专注于业务逻辑而无需关心底层的格式解析。完成文档加载后下一步就是将长文档切分为适合模型上下文窗口的小块这就是我们下一篇文章要讲解的文本分割器Text Splitters。✨把这些内容吃透超牛的放松下吧✨ʕ˘ᴥ˘ʔづきらど