文章目录1. RAG 五大阶段2. 基础概念2.1 Documents文档2.2 Nodes节点2.3 Connectors数据连接器3. 资源介绍3.1 LlamaHub3.2 llama-index-integrations3.3 LlamaParse3.4 LiteParse3.5 LlamaParse / LiteParse / LlamaAgents / LlamaIndex Framework1. RAG 五大阶段当前大语言模型LLM原生存在知识滞后、事实幻觉、无法对接私有数据等核心痛点单纯依靠模型本身无法满足企业落地、私有知识库问答、垂直领域智能检索等实际业务需求。因此工业界主流的LLM落地应用均不再是简单的模型单次调用而是形成了一套标准化、可迭代、可工程化的完整运行流水线。所有成熟的RAG落地应用底层逻辑高度统一核心离不开数据加载、索引构建、持久化存储、查询检索、效果评估五大闭环环节。这五个环节层层递进、相互支撑覆盖了数据接入、模型预处理、工程优化、用户交互、迭代调优的全流程。掌握该整套流程能够系统性解决大模型幻觉问题、降低调用成本、提升问答精准度与业务适配性为各类垂直领域LLM智能应用开发提供核心支撑。2. 基础概念Loading数据加载是LLM应用流水线的起点负责对接各类异构数据源将外部原始数据导入业务流程支持文本文件、PDF文档、网页内容、业务数据库、第三方API接口等多种数据来源。数据加载完成后可以在此基础上构建索引Index使用查询引擎Query Engine提问使用聊天引擎Chat Engine进行对话2.1 Documents文档Document是LlamaIndex里的数据源容器对应一份完整原始数据一份PDF文件、一次API返回结果、数据库单条/一批查询结果、一篇网页都可以封装成一个Document对象。它保存原始完整文本以及来源、时间等基础元信息代表未经切分的完整资料是数据进入框架后的第一层封装还没有做文本拆分后续会被进一步处理生成更小粒度的单元。2.2 Nodes节点Node是LlamaIndex中最小的原子数据单元本质就是文档经过文本切分之后得到的Chunk文本块。RAG做向量向量化、检索召回都是以Node为单位执行。Node除了存储片段文本还携带丰富元数据可以记录它归属哪一份原始Document、页码、位置信息同时支持和其他Node建立关联关系记录前后上下文方便检索时还原片段上下文是索引构建、语义检索的核心操作对象。2.3 Connectors数据连接器数据连接器Connectors也常称作读取器Reader是LlamaIndex数据接入层的核心组件负责对接各类异构数据源与多样化文件格式完成原始数据的读取、初步解析与格式归一化工作。它能够适配本地文档、PDF文件、网页内容、数据库、API接口等多种输入来源屏蔽不同数据源之间的接口差异与格式差异把杂乱的原始业务数据统一解析转换为框架标准的Document文档对象。后续再经由文本切分逻辑将完整文档进一步拆解为粒度更细的Node节点对象。作为整个RAG流水线的入口模块连接器的能力直接决定知识库能够支持哪些数据来源是实现多源数据接入、为后续索引构建与检索召回提供标准化数据输入的首要环节。3. 资源介绍3.1 LlamaHub数据连接器通过 LlamaHub 提供。LlamaHub是一个开源仓库包含各类数据加载器可以轻松地将它们即插即用地集成到任何LlamaIndex应用中。查找一个文件Reader点开后可以看到使用介绍3.2 llama-index-integrationsLlamaIndex主仓库的llama‑index‑integrations目录包含了所有加载器、LLM、向量库、嵌入的实现每个子模块独立打包成PyPI包。llama‑index‑integrations/readers/包含了所有的Reader所有在LlamaHub网页上看到的连接器源码都在主仓库的llama‑index‑integrations下面LlamaHub只是个是网页市场 / 注册表展示所有集成二者是源码仓库 ↔ 展示门户的关系。3.3 LlamaParseLlamaParse是由LlamaIndex推出的云端解析服务用于高效解析、结构化各类文件配合LlamaIndex框架实现高质量检索与上下文增强。可以与 LlamaIndex 直接集成注册即可免费使用支持数十种文档格式包含PDF、Word、PowerPoint、Excel表格等多种文件。入门指引请查看 LlamaParse 文档。3.4 LiteParseLiteParse是一款开源文档解析库能够解析文本并保留空间布局信息与文本包围盒。底层使用Rust开发兼顾速度与稳定性完全在本机运行无云端依赖、不调用大模型、不需要API Key。LiteParse本身不依赖LlamaIndex是独立Rust开源库LlamaIndex通过LiteParseReader 适配器把它封装成标准BaseReader输出LlamaIndex Document对象。因为是学习教程我们肯定先重点学习LlamaIndex自带的读取器LiteParse、LlamaParse文档解析引擎后续再深入入门指引请查看 LiteParse 文档。3.5 LlamaParse / LiteParse / LlamaAgents / LlamaIndex FrameworkLlamaIndex官方文档中可以看到四个产品这些产品构成了整个文档处理链路他们之间的定位和区别如下对比项LlamaParseLiteParseLlamaAgentsLlamaIndex Framework角色云端文档解析服务本地开源解析引擎Agent工作流编排RAG/Agent开发基座部署云端API本地/WASM运行本地/微服务Python/TS库开源闭源Apache‑2.0开源MIT开源MIT开源大模型用多模态LLM解析无LLM传统OCR依赖外部LLM对接各类LLM/Embedding密钥需要API Key不需要仅LLM需Key仅LLM/向量库需Key费用免费额度按页计费完全免费框架免费框架免费核心优势扫描件、复杂表格解析强离线、保留布局bbox多步骤Agent自动化检索、索引、RAG全套能力适用场景文档复杂可上云数据敏感、私有化部署生产级多Agent流程搭建知识库、RAG应用 LlamaIndex 系列【7】RAG Data Loading（数据加载）
文章目录1. RAG 五大阶段2. 基础概念2.1 Documents文档2.2 Nodes节点2.3 Connectors数据连接器3. 资源介绍3.1 LlamaHub3.2 llama-index-integrations3.3 LlamaParse3.4 LiteParse3.5 LlamaParse / LiteParse / LlamaAgents / LlamaIndex Framework1. RAG 五大阶段当前大语言模型LLM原生存在知识滞后、事实幻觉、无法对接私有数据等核心痛点单纯依靠模型本身无法满足企业落地、私有知识库问答、垂直领域智能检索等实际业务需求。因此工业界主流的LLM落地应用均不再是简单的模型单次调用而是形成了一套标准化、可迭代、可工程化的完整运行流水线。所有成熟的RAG落地应用底层逻辑高度统一核心离不开数据加载、索引构建、持久化存储、查询检索、效果评估五大闭环环节。这五个环节层层递进、相互支撑覆盖了数据接入、模型预处理、工程优化、用户交互、迭代调优的全流程。掌握该整套流程能够系统性解决大模型幻觉问题、降低调用成本、提升问答精准度与业务适配性为各类垂直领域LLM智能应用开发提供核心支撑。2. 基础概念Loading数据加载是LLM应用流水线的起点负责对接各类异构数据源将外部原始数据导入业务流程支持文本文件、PDF文档、网页内容、业务数据库、第三方API接口等多种数据来源。数据加载完成后可以在此基础上构建索引Index使用查询引擎Query Engine提问使用聊天引擎Chat Engine进行对话2.1 Documents文档Document是LlamaIndex里的数据源容器对应一份完整原始数据一份PDF文件、一次API返回结果、数据库单条/一批查询结果、一篇网页都可以封装成一个Document对象。它保存原始完整文本以及来源、时间等基础元信息代表未经切分的完整资料是数据进入框架后的第一层封装还没有做文本拆分后续会被进一步处理生成更小粒度的单元。2.2 Nodes节点Node是LlamaIndex中最小的原子数据单元本质就是文档经过文本切分之后得到的Chunk文本块。RAG做向量向量化、检索召回都是以Node为单位执行。Node除了存储片段文本还携带丰富元数据可以记录它归属哪一份原始Document、页码、位置信息同时支持和其他Node建立关联关系记录前后上下文方便检索时还原片段上下文是索引构建、语义检索的核心操作对象。2.3 Connectors数据连接器数据连接器Connectors也常称作读取器Reader是LlamaIndex数据接入层的核心组件负责对接各类异构数据源与多样化文件格式完成原始数据的读取、初步解析与格式归一化工作。它能够适配本地文档、PDF文件、网页内容、数据库、API接口等多种输入来源屏蔽不同数据源之间的接口差异与格式差异把杂乱的原始业务数据统一解析转换为框架标准的Document文档对象。后续再经由文本切分逻辑将完整文档进一步拆解为粒度更细的Node节点对象。作为整个RAG流水线的入口模块连接器的能力直接决定知识库能够支持哪些数据来源是实现多源数据接入、为后续索引构建与检索召回提供标准化数据输入的首要环节。3. 资源介绍3.1 LlamaHub数据连接器通过 LlamaHub 提供。LlamaHub是一个开源仓库包含各类数据加载器可以轻松地将它们即插即用地集成到任何LlamaIndex应用中。查找一个文件Reader点开后可以看到使用介绍3.2 llama-index-integrationsLlamaIndex主仓库的llama‑index‑integrations目录包含了所有加载器、LLM、向量库、嵌入的实现每个子模块独立打包成PyPI包。llama‑index‑integrations/readers/包含了所有的Reader所有在LlamaHub网页上看到的连接器源码都在主仓库的llama‑index‑integrations下面LlamaHub只是个是网页市场 / 注册表展示所有集成二者是源码仓库 ↔ 展示门户的关系。3.3 LlamaParseLlamaParse是由LlamaIndex推出的云端解析服务用于高效解析、结构化各类文件配合LlamaIndex框架实现高质量检索与上下文增强。可以与 LlamaIndex 直接集成注册即可免费使用支持数十种文档格式包含PDF、Word、PowerPoint、Excel表格等多种文件。入门指引请查看 LlamaParse 文档。3.4 LiteParseLiteParse是一款开源文档解析库能够解析文本并保留空间布局信息与文本包围盒。底层使用Rust开发兼顾速度与稳定性完全在本机运行无云端依赖、不调用大模型、不需要API Key。LiteParse本身不依赖LlamaIndex是独立Rust开源库LlamaIndex通过LiteParseReader 适配器把它封装成标准BaseReader输出LlamaIndex Document对象。因为是学习教程我们肯定先重点学习LlamaIndex自带的读取器LiteParse、LlamaParse文档解析引擎后续再深入入门指引请查看 LiteParse 文档。3.5 LlamaParse / LiteParse / LlamaAgents / LlamaIndex FrameworkLlamaIndex官方文档中可以看到四个产品这些产品构成了整个文档处理链路他们之间的定位和区别如下对比项LlamaParseLiteParseLlamaAgentsLlamaIndex Framework角色云端文档解析服务本地开源解析引擎Agent工作流编排RAG/Agent开发基座部署云端API本地/WASM运行本地/微服务Python/TS库开源闭源Apache‑2.0开源MIT开源MIT开源大模型用多模态LLM解析无LLM传统OCR依赖外部LLM对接各类LLM/Embedding密钥需要API Key不需要仅LLM需Key仅LLM/向量库需Key费用免费额度按页计费完全免费框架免费框架免费核心优势扫描件、复杂表格解析强离线、保留布局bbox多步骤Agent自动化检索、索引、RAG全套能力适用场景文档复杂可上云数据敏感、私有化部署生产级多Agent流程搭建知识库、RAG应用