第一部分工业级 RAG 全景图1.1 LLM 为什么需要 RAG根本原因Knowledge Frozen知识冻结LLM 的生命周期分两段训练阶段吃进海量数据调整参数推理阶段参数被固定世界知识冻结在训练截止日训练结束后世界发生的任何新事件如“今天腾讯发布了新 Agent 框架”都不会自动进入模型。两种解决方案对比方案做法成本适用场景重新训练/微调重新收集数据再训练几百万到几千万大规模知识更新RAG搜索外部知识库和问题一起给 LLM几乎为零实时、灵活的知识获取RAG 的本质不是让 LLM 变聪明而是给 LLM 提供外部知识。LLM 负责推理RAG 负责找知识。1.2 Chunk切块—— RAG 的地基为什么不能整篇 Embedding整份文档只生成一个向量无法精确定位到某个具体段落。用户问“Redis 经验”Retriever 只能返回整份简历无法单独捞出 Redis 那个项目经历。正确流程文档 → Chunk → Embedding → 存入向量库Chunk 策略核心原则语义完整而非按字数。错误切法正确切法按 500 字机械切割一个项目经历 一个 Chunk“开发后台 / 管理系统 Redis”整个实习经历完整保留Chunk 决定 Recall 的上限。切得好不好直接决定了后续所有环节能拿到多少有效信息。1.3 Embedding 深入——谁训练的Embedding 模型也是训练出来的神经网络。训练目标“猫”和“小猫” → 向量距离近“猫”和“汽车” → 向量距离远通过海量文本对不断训练模型学会了把语义相近的文本映射到向量空间中相邻的位置。Embedding 的本质不是编码或压缩而是建立语义空间Semantic Space。语义相近的东西在空间中距离更近。1.4 Retriever 到底是什么Retriever 是“找资料的人”不是“答题的人”。RetrieverLLM职责召回Recall推理Reasoning输出相关文档片段自然语言答案比喻图书馆检索系统阅读并答题的学生为什么不是普通 SearchKeyword SearchSemantic Search (Retriever)匹配方式字符串匹配语义向量相似度“后台管理系统”能匹配“Spring Boot”吗❌ 不能✅ 能优势精确查询版本号等理解同义词、近义词、隐含语义Retriever 看的是语义不是文字。这是它和传统搜索引擎的根本区别。1.5 Reranker——工业级的秘密武器为什么 Top-K 不是最终答案向量检索返回的 Top-K 是按距离排序的但“距离近”不完全等于“最相关”。例如检索“Redis 项目经历”Retriever 返回Redis 缓存配置Redis 基础知识Redis 项目实战 ← 用户真正需要的Reranker 对 Top-K 进行二次精排把真正最相关的排到前面。RetrieverReranker负责Recall召回Precision精度速度极快毫秒级较慢秒级输入全量知识库Retriever 的 Top-K如30条输出Top-K如30条Top-N如5条Retriever 负责“找得到”Reranker 负责“排得准”。这是 RAG 从 Demo 级到工业级的分水岭。1.6 Query Rewrite 与 Hybrid SearchQuery Rewrite查询改写用户输入通常模糊如“Java”在进入 Retriever 前让 LLM 改写为更精确的检索查询如“Java Agent 开发框架 Spring AI”提升召回率。Hybrid Search混合检索Embedding 搜索擅长语义匹配但精确查询如版本号“3.4”容易模糊Keyword 搜索BM25擅长精确匹配但不懂同义词Hybrid Search Keyword Search Vector Search结合两者优势是目前大厂 RAG 系统的主流方案1.7 工业级 RAG 完整架构用户问题 ↓ Query Rewrite查询改写 ↓ Embedding向量化 ↓ Vector Retriever向量召回 Top-K ↓ Reranker精排到 Top-N ↓ Prompt Construction构造 Prompt ↓ LLM生成答案第二部分Agent 系统架构设计2.1 Agent 不是一个 LLM而是一个系统很多人认为 Agent User → LLM → Tool → Answer。真正的企业级 Agent 是一个多层系统用户 ↓ Agent 入口 ↓ Planner制定计划 ↓ Executor执行计划 ↓ Skill能力集合 ↓ Workflow/Graph流程调度 ↓ Node具体功能单元 ↓ Tool外部能力调用LLM 只是其中一个模块负责“思考”和“生成”。规划、调度、记忆、反思需要其他模块协同完成。2.2 State、Session、Memory、Checkpoint 辨析概念回答的问题生命周期比喻Session是谁一次连接/登录会话标识Memory聊过什么长期、跨会话笔记本State做到哪里了当前任务执行期间进度条Checkpoint存档点在哪持久化用于恢复游戏存档State 详解State 不是数据结构dict而是系统当前所处的执行现场。例如{current_task: rewrite, retrieval_result: [...]}它标记“现在做到哪一步”。为什么项目需要两层 StateAgent State关注“整个任务计划”要做几个 Skill、现在做到哪个 SkillWorkflow State关注“当前 Skill 内部的步骤”JD 分析→检索→重写现在卡在哪一步State 属于自己的层不允许跨层污染。Agent 不需要知道 Workflow 内部细节Workflow 不需要关心后续还有其他 Skill。2.3 企业级 Agent 分层架构API 层 ↓ Agent 层入口、Session 管理 ↓ Planner 层任务规划 ↓ Executor 层任务调度 ↓ Skill 层能力集合 ↓ Workflow 层Skill 内部流程 ↓ Node 层具体功能单元 ↓ Tool 层LLM、API、数据库等分层的核心目的可扩展性Scalability。当 Skill 数量增长到几十个、Workflow 到几百个时不分层的系统将无法维护。第三部分Reflection——Agent 的自我意识3.1 为什么需要 ReflectionLLM 会生成但不会自我判断。第一次生成的结果只是一个“候选答案”不是“最终答案”。Reflection 让 Agent 在犯错后能“停下来想一想”而不是将错就错。Reflection 负责让 Agent 停下来思考而不是盲目执行。3.2 Reflection 的本质Reflection 是“裁判Judge”不是“球员Generator”。输入用户目标 当前产物输出结构化评价分数、问题、是否需要重试{score:75,problem:项目经历没有体现 Redis 经验,retry:true}Reflection 没有生成新内容只是做了一个评判。3.3 Reflection 的四种类型类型检查对象触发位置行动Output Reflection某个节点的输出节点执行后重做当前步骤Planning ReflectionPlanner 生成的计划Planner 之后重新规划Tool Reflection工具返回结果工具调用后调整参数重新调用Workflow Reflection整个 Skill 执行结果Workflow 结束后回溯到内部节点或触发新 Skill3.4 Graph ReflectionNode → Reflection ├── Score ≥ 90 → Graph 执行 → 继续 └── Score 80 → Graph 执行 → 跳回 Retrieve 节点Graph 是“导航”Reflection 是“司机”。Reflection 负责判断Graph 负责执行判断结果。3.5 Planner ReflectionPlanner 生成计划 → Reflection 检查计划 → 触发 Planner 重新规划Replanning。前置 Reflection 的价值在 Workflow 执行之前就发现计划问题避免跑完整个流程才发现失败大幅降低 Token 消耗。3.6 Self-Reflection vs Self-ConsistencySelf-ReflectionSelf-Consistency方式纵向深入生成→检查→修正横向比较生成多个答案→选最佳目标提高单个答案质量降低随机性提高稳定性代表技术Self-Refine, ReflexionSelf-Consistency为什么工业界越来越重视 ReflectionAgent 最大的痛点不是“不会做”而是做得不稳定。Reflection 提供了一种低成本、高效的方式来提升输出稳定性和成功率。3.7 分层 Reflection 体系Hierarchical Reflection工业界不是选一个位置放 Reflection而是构建分层体系层级检查内容成本能拦截的错误Node 后格式、必填项低低级错误Workflow 后Skill 整体质量中流程内问题Planner 后计划合理性高决策失误最终输出前全局一致性高整体质量第四部分核心认知总结RAG 维度RAG 不是“搜索 LLM”而是一条精密的流水线Query Rewrite → Embedding → Retriever → Reranker → Prompt Builder → LLM。Chunk 决定 Recall 的上限Retriever 负责“找得到”Reranker 负责“排得准”Agent 架构维度Agent 不是一个 LLM而是一个多层系统。每一层有自己的职责边界State 不能跨层污染。Planner 决定“做什么”Executor 决定“怎么做”State 记录“做到哪了”Memory 记住“曾经聊过什么”Checkpoint 保证“随时能回来”Reflection 维度Reflection 是 Agent 从“自动工具”到“智能体”的质变。它让 Agent 能审视自己、纠正错误。Reflection 是 Judge不是 Generator分层 Reflection 是最佳实践Reflection Graph Planner 可自我修正的智能系统