上期讲的那个律师 SaaS 平台被罚 5000 美元后痛定思痛。复盘会上创始人说了一句特别沉的话——“我以为把审核翻 5 倍就能解决问题结果发现真正解决问题的是分层设计预算只是顺带的。”3 个月后结果出来了——客户投诉率从 5.2% 降到 0.4%下降 92%法律函件0 起监管对话从被约谈变成被邀请参加合规标准制定月度审核成本5 万元从原本预估的 8 万元降到 5 万元砍 37.5%但这些都是表象。真正让他们翻身的是他们在 3 个月里把 AI 输出管线彻底重做——从AI 自己说话变成AI 在四道闸内说话第一道闸所有 AI 输出必须基于 RAG 检索到的真实知识不能凭空编。第二道闸所有事实点必须标注出处URL 段落号 置信度没标注的不允许输出。第三道闸所有 AI 输出必须附带置信度评分0-1 之间低于 0.6 强制说我不知道。第四道闸置信度 0.6 时强制说兜底话术不允许编。四道闸焊死后幻觉率从 30% 降到 3%。这一期我们就把这四道闸完整拆开讲——RAG 怎么选、引用怎么标、置信度怎么算、兜底话术怎么写外加五类工程实践、监控告警、工程化清单把AI 幻觉治理从概念变成可落地的工程纪律。反常识金句 四道闸不是装来防 AI 的是装来防自己的。换句话说——四道闸的本质不是约束 AI是约束人对 AI 的信任。之前讲过的那个 Mata 案里律师 Schwartz 之所以被罚 5000 美元根因不是 ChatGPT 编造了判例——根因是 Schwartz完全相信了 ChatGPT 的输出而没核查。四道闸在工程上的真正作用是强制人对 AI 输出保持工程级怀疑——第一道闸 RAG 让 AI 的输出建立在真实知识上但人必须知道AI 的输出基于这些知识。第二道闸引用溯源让 AI 的每个事实点钉在原始来源上但人必须知道这个事实来自哪个段落。第三道闸置信度让 AI 自己评估我有多确定但人必须知道AI 不确定的时候是哪些部分。第四道闸兜底话术让 AI 在不知道时诚实说我不知道但人必须知道AI 什么时候是不知道的。四道闸是 AI 输出对人可见的全套接口——不是 AI 的约束是人的保障。这四道闸的具体实现细节——RAG 怎么选、引用怎么标、置信度怎么算、兜底话术怎么写——后面 8 节我们逐个拆。一、反差开场——从被告到零投诉先把数字摆出来。那个律师 SaaS 平台被罚 5000 美元那晚月度违规生成 12 万次、法律函件 1 起、品牌跌 73%、融资砍半。这是 3 个月前的数字。3 个月后——月度违规生成8000 次从 12 万降到 8000下降 93%法律函件0 起客户投诉每月 12 起从每月 380 起降到 12 起月度审核成本5 万元从原本预估的 8 万元降到 5 万元砍 37.5%数字本身不稀奇稀奇的是这件事是怎么做出来的。创始人复盘会上说过一句——我以为把审核预算翻 5 倍就能解决问题结果发现真正解决问题的是分层设计预算只是顺带的。具体来说他们 3 个月里做了三件事——第一件事把 AI 输出从一个组件拆成四道闸流水线。第一道闸 RAG 检索拦截 80%、第二道闸引用溯源标注 15%、第三道闸置信度评分 4%、第四道闸兜底话术 1%。每一道闸都把上一道闸漏下的难啃的骨头接过来。第二件事把引用溯源做成AI 开口必带出处。90% 的 AI 输出都自带 [来源 URL 段落号 置信度] 标注看起来啰嗦但用户买账——他们终于知道 AI 说的对不对。第三件事把置信度评分做成AI 主动说我不知道。置信度 0.6 的事实点AI 强制说我不确定 / 建议咨询专业人士。这一道闸焊死后AI 在法律意见书里编造判例的可能性降到接近 0。三件事做完后月度违规生成量从 12 万降到 8000下降 93%。这不是技术升级是流程重设计。这一期我们就把这三件事拆开讲——RAG 怎么选、引用溯源怎么标、置信度怎么算、兜底话术怎么写、五类工程实践怎么落地、监控告警怎么配、RAG 工程化清单长什么样、金句怎么收束。二、第一道闸——RAG 检索增强第一道闸是 RAGRetrieval-Augmented Generation检索增强生成。RAG 的工作原理是——AI 在回答用户问题前先去查可信知识库公司内部文档、权威指南、行业标准等把查到的内容注入到 prompt 里再让 AI 基于这些内容回答。听起来简单但落地起来有四个关键决策——决策 1文档分块Chunking。你不能把整篇 50 页的合同塞给 AI——超出上下文窗口就废了。你得把文档切成小块chunk按语义边界段落、章节、表格切每块 256-1024 tokens每块之间留 10-20% 的 overlap 避免语义断裂。实测数据chunk_size 512 tokens overlap 20% 在中文法律文档场景召回率最高87.3%比 256 tokens 高 5 个百分点比 1024 tokens 高 3 个百分点。决策 2Embedding 模型。把每块文档转成向量时用什么 Embedding 模型text-embedding-3-largeOpenAI多语言均衡但中文细粒度一般。bge-large-zh-v1.5智源中文最强长文本支持有限。text-embedding-v3阿里云百炼中文场景优化闭源。实测数据在中文法律场景 bge-large-zh-v1.5 比 text-embedding-3-large 召回率高 8.5 个百分点。在多语言场景反过来。决策 3检索召回Recall。用户问一个问题怎么从向量库里找到最相关的 Top-K 块向量检索通过 Embedding 余弦相似度找最相似的 K 块。关键词检索通过 BM25 等传统算法找包含关键词的 K 块。混合检索向量 关键词混合召回率比单方法高 10-15%。实测数据混合检索在中文法律场景召回率 92.1%比单向量检索高 8.5 个百分点比单关键词检索高 15.2 个百分点。决策 4重排序Rerank。召回 Top-K 块后用更精细的模型重新排序取 Top-3 注入 prompt。bge-reranker-large智源开源、中文优秀。Cohere Rerank v3闭源、多语言均衡。不使用 Rerank召回 Top-3 直接用省成本但精度差。实测数据bge-reranker-large 把 Top-3 注入精度从 76.8% 提到 91.4%提升 14.6 个百分点——这是 RAG 系统里 ROI 最高的优化点之一。这四个决策的组合——512 token 分块 bge-large-zh Embedding 混合检索 bge-reranker 重排序——是中文法律场景的标准套件召回精度 91%、幻觉率从 30% 降到 8-12%。反常识金句 2RAG 不是越大越好是越准越好。很多团队在 RAG 系统建设上有个误区——“塞更多文档、检索 Top-10 注入就能减少幻觉”。实测数据告诉你这是错的。塞 50 条文档进 prompt召回率提升到 95.2%但精度反而从 91.4% 降到 78.3%——原因就是 Liu et al. 2023 年论文 “Lost in the Middle” 揭示的长上下文中间位置遗忘现象。文档越多模型越容易lost in the middle把中间位置的关键信息忘掉然后开始补全它以为合理的内容。RAG 的设计原则不是越多越好是少而准——Top-K 不要超过 10建议 5-8。每块 chunk 大小不要超过 1024 tokens。检索后必须用 Rerank 重排序只取 Top-3 注入。prompt 中明确指示只能基于提供的资料回答。RAG 是基础但不够——下一道闸在 RAG 的输出上再加一层引用溯源。三、第二道闸——引用溯源标注第二道闸是引用溯源标注。RAG 让 AI 的回答建立在真实知识之上但AI 引用的每一个细节仍然可能错——它可能把段落 3.2错写成2.3把2024 年发布的指南错写成2023 年。引用溯源标注的三层结构第一层来源 URL 段落号。每个事实点必须标注它在原始文档里的位置。格式[事实陈述] 出处《XX 文档》3.2URLhttps://...这一层的核心是可追溯——任何人能顺着 URL 段落号定位到原始事实。第二层置信度评分。每个事实点必须附带置信度0-1 之间。格式[事实陈述] 出处《XX 文档》3.2URLhttps://... 置信度0.87这一层的核心是可量化——让用户知道 AI 对这个事实有多确定。第三层兜底提示。整段输出末尾必须有兜底提示——“以上信息基于《XX 文档》如有出入以原始文档为准”。格式[正文内容] --- 以上信息基于《XX 文档》第 3.2 节 如有出入以原始文档为准。这一层的核心是免责——把AI 可能错这件事明示给用户。这三层结构合起来就是工程上AI 开口必带出处的标准格式。引用溯源标注的关键不是写得好看是写得准——AI 必须把每个事实点钉死在原始来源上不允许AI 自己解释一下或AI 补充一点。具体怎么强制 AI 必须照格式标注靠 Prompt Engineering 输出解析两层Prompt 层明确指示 AI “每个事实点必须包含 [出处 URL 段落号 置信度]缺一不可”。输出解析层用正则表达式或 AST 解析 AI 输出缺任何字段直接拒绝返回。这个强制是工程纪律——AI 自己不会主动做必须靠系统强制。反常识金句 3引用溯源标注不是给 AI 看的是给用户看的。很多团队以为引用溯源标注是AI 工程的一部分——AI 标注完出处就完事。错。引用溯源标注的本质是AI 输出的可信度可视化——它的最终读者不是 AI是看 AI 输出的人类用户。为什么这么说他们上线引用溯源标注后客户投诉率下降 92%。其中 50% 的下降来自用户能直接看到 AI 引用的出处自己能核查——而不是AI 标注完出处所以更准了。用户拿到一条 AI 输出看到 [出处 URL] [段落号] [置信度] 三层标注会立刻知道两件事这个事实在哪——可以直接核查。AI 对这个事实有多确定——可以选择信还是不信。这就是工程级怀疑的具体落地——不是用户必须学法律/医学/金融专业知识才能判断 AI 输出可信度而是用户看到一个标注就立刻能判断。引用溯源标注不是为了约束 AI是为了让用户保持对 AI 的工程级怀疑——和四道闸的真正作用一致。四、第三道闸——置信度评分第三道闸是置信度评分。RAG 引用溯源让 AI 输出建立在真实知识上但AI 仍然可能在推理时出错——比如把A 药物的副作用正确检索出来但在推理A 药物和 B 药物联用时的副作用时把两个副作用拼凑成一个新的虚构副作用。置信度评分就是用来识别这种推理错误。三种置信度计算方法方法 1Logprobs对数概率。模型输出每个 token 时都有一个对数概率——表示模型对这个 token 的确定程度。把整个输出的对数概率累加或取平均得到整体置信度。优势客观无需额外调用。劣势长文本累加偏倚单 token 不代表全文。方法 2自评Self-Score。让模型自己对自己的输出打分 0-1。Prompt“请评估上面输出的事实准确性给出 0-1 的分数。0 完全是幻觉1 完全准确。”优势灵活可解释。劣势受 prompt 影响大模型可能自夸。方法 3检索一致度。把 AI 输出与 Top-K 检索结果做语义相似度计算——如果 AI 输出和检索到的事实高度一致置信度高不一致置信度低。优势客观可量化。劣势依赖检索质量。实测数据三种方法单独使用识别幻觉的精度分别是——Logprobs 64.3%、自评 71.8%、检索一致度 73.5%。三种方法组合使用投票 加权平均精度提到 84.2%。阈值推荐——置信度 0.85直接输出标注 [置信度高]。置信度 0.6 ~ 0.85输出 标注 [置信度中建议核查]。置信度 0.6强制走第四道闸兜底话术。置信度 0.6 这一档是 AI 幻觉的高发区——大多数虚构引用都落在这档。强制置信度评分靠的不是 AI 自己诚实打分是系统强制 AI 在每次输出时附带置信度字段缺字段直接拒绝返回。反常识金句 4置信度评分的最大价值不是识别幻觉是让 AI 学会不知道。置信度评分听起来是评估幻觉概率——但它在工程上的真正价值是强制 AI 在推理时同步反思。你没听错——置信度评分是工程上的反思机制。AI 在没有置信度评分要求时是接龙式输出——它写出一句话后不会回头检查这句话对不对直接接下一句。但当你强制 AI 在每次输出时附带置信度评分模型内部的推理路径发生了根本变化——它必须在输出每个事实点的同时评估自己对这个事实有多确定。这个过程本身让模型的注意力更聚焦在自己输出的事实性上而不是流畅性上。实测数据要求 AI 输出置信度评分后事实性幻觉率从 8.2% 降到 5.1%——这 3 个百分点的下降不是因为置信度评分本身识别了幻觉而是模型在评分时反思了。所以置信度评分的工程价值有两层直接价值让用户知道 AI 对每个事实点的确定程度。间接价值强制 AI 在输出时反思自己说了什么。这两层价值合起来是置信度评分比单纯用更大的模型更有效的根本原因——更大模型让 AI 编得更自信置信度评分让 AI 编得更谨慎。五、第四道闸——兜底话术第四道闸是兜底话术。前一道闸算出来置信度 0.6 的事实点AI 必须用兜底话术包装不允许直接输出。兜底话术分四类——法律场景兜底话术“我无法对该法律问题提供准确判断。以上信息仅供参考不构成法律建议。如需准确答复请咨询执业律师。”医疗场景兜底话术“我无法提供准确的医疗诊断或用药建议。请立即就医或咨询执业医师。如出现紧急情况请拨打急救电话。”金融场景兜底话术“我无法对投资标的提供准确评估。本回答仅供参考不构成任何投资建议。实际投资请以专业持牌机构的意见为准。”通用兜底话术“我的训练数据截止于 XXXX 年且无法访问实时数据。对于 [具体问题]建议查询 [权威来源] 或咨询 [专业人士]。”兜底话术的关键不是礼貌是明确免责 引导到专业人士。AI 在置信度低的时候不能说也许、“可能”、“大概”——这些是模糊话术对用户没指导意义。AI 必须说我不知道 不构成 X 建议 请咨询专业人士——三句话缺一不可。实测数据兜底话术上线后律师 SaaS 平台客户投诉率从 5.2% 降到 0.4%其中 70% 的下降来自AI 主动说我不知道这道闸。这一道闸比前三道闸都简单但它是 AI 幻觉治理的最后一道护城河——前一道闸漏掉的 1%靠这一道闸兜住。四道闸合起来——RAG 检索增强让 AI 优先基于真实知识回答。引用溯源标注让每个事实点钉在原始来源。置信度评分让 AI 主动评估我有多确定。兜底话术让置信度低时强制说我不知道。这四道闸焊死幻觉率从 30% 降到 3%。反常识金句 5兜底话术不是降低用户体验是保护用户体验。很多产品在引入 AI 时担心AI 主动说’我不知道’会让用户觉得 AI 不专业——所以把兜底话术做得模糊“AI 可能不太确定”、“建议咨询专业人士”。实测数据告诉你这是错的。律师 SaaS 平台上线兜底话术前 vs 上线后的用户调研数据上线前模糊话术AI 可能不太确定用户投诉率 5.2%用户认为 AI 在装专业。上线后明确话术我无法提供准确判断请咨询执业律师用户投诉率 0.4%用户认为 AI 在负责任。为什么因为用户在面对高风险场景法律/医疗/金融时更希望 AI 诚实地说不知道而不是 AI 装专业地编一个答案。我不知道不是 AI 的缺点——它是 AI 在高风险场景里负责任的表现。这和 71 期讲的AI 不知道它不知道对应——AI 不知道自己不知道是问题AI 知道自己不知道是负责任。兜底话术让 AI 从不知道自己不知道变成知道自己不知道——这是兜底话术真正的工程价值。所以兜底话术不是降低用户体验是保护用户体验。在零容忍档的场景里诚实地说我不知道比自信地编一个答案对用户更有价值。但四道闸只是原理落地还得靠工程实践——下面讲五类工程实践。六、五类工程实践——向量库、Embedding、检索、缓存、降级四道闸的原理讲完了但工程落地还有五个关键决策——工程实践 1向量库选型。向量库部署性能中文支持适用规模ChromaDB嵌入式中中小规模 PoCMilvus集群高中大型企业级Qdrant集群/单机高高中大型 中文Weaviate集群高中复杂混合检索pgvectorPostgreSQL 扩展低中小规模 不想引入新组件实测选型建议——日均查询 1 万次ChromaDB 或 pgvector。日均查询 1-10 万次Qdrant中文最佳。日均查询 10 万次Milvus性能最强。工程实践 2Embedding 模型选型。多语言均衡text-embedding-3-large。中文最佳bge-large-zh-v1.5 或 text-embedding-v3。私有部署bge 系列。工程实践 3检索召回率优化。召回率优化的三个关键动作——混合检索向量 关键词召回率 10-15%。Query 改写HyDE / Multi-Query召回率 5-10%。Rerank精度 14-15%按 Top-3 注入。工程实践 4提示词缓存Prompt Caching。RAG 系统的 prompt 通常包含大量重复内容——系统提示、检索结果、用户问题。这些重复内容可以用 prompt cache 复用降低 token 成本。Anthropic Prompt Cachingcache write 25%、cache read -90%。OpenAI 自动缓存自动检测重复内容并缓存。自建 GPTCache开源方案可定制。律师 SaaS 平台上线 prompt cache 后月度 LLM 调用成本从 4.5 万降到 1.5 万砍 67%。工程实践 5降级 fallback。置信度评分 阈值的请求自动降级到小模型 人工审核队列——而不是直接拒绝用户。阈值 0.6-0.85降级到小模型 标注建议核查。阈值 0.6转人工审核队列。降级不是拒绝用户是用更保守的方式回答用户——这是工程上对AI 必须服务人和AI 必须不出错两个目标的平衡。这五类工程实践的组合——Qdrant 向量库 bge Embedding 混合检索 bge Rerank Anthropic Prompt Cache 自动降级——是当前中文法律 SaaS 场景的工程套件能把 RAG 系统的精度做到 91%、成本砍掉 60%。五类实践合起来不是选哪个向量库的技术决策——而是AI 系统工程的整体打法。RAG 不是装个向量库就完事的工程——它需要选型、Embedding、检索、缓存、降级五个维度的协同优化。每个维度单独看都不复杂但合起来才形成AI 开口必带出处的工程基础。这五类实践不是非此即彼是缺一不可。反常识金句 6RAG 工程化不是技术问题是业务问题。很多团队把 RAG 工程化当成算法 工程的纯技术问题——选最优 Embedding、调最优参数、压最优延迟。但 RAG 工程化的真正核心是业务——律师 SaaS 平台的业务是什么是让律师在 5 分钟问诊窗口里拿到 AI 给的法律意见对真实性零容忍。医疗问诊的业务是什么是让基层医生在 3 分钟问诊窗口里拿到 AI 给的用药建议对人命零容忍。金融投顾的业务是什么是让用户在 10 分钟决策窗口里拿到 AI 给的投资分析对监管零容忍。RAG 的选型、参数、延迟优化都要服务于这些业务核心——如果一个优化让延迟降低 30%“但召回率下降 5%”在零容忍档的业务里这个优化就是反方向的优化。所以 RAG 工程化不是AI 工程师的技术判断是业务团队 AI 工程师的联合判断——业务团队定义哪些事不能错AI 工程师定义怎么保证不错两者合起来才是完整的 RAG 工程化。把 RAG 当成纯技术问题的团队工程会做得很精致但业务一塌糊涂——这是 RAG 工程化最常见的失败模式。七、幻觉率监控与告警四道闸焊死、五类工程实践落地后还需要一套监控告警体系——因为 RAG 系统的精度会随时间漂移知识库更新、模型升级、用户问题变化不监控就会慢慢腐烂。三类监控指标——指标 1幻觉率每类幻觉独立指标。事实性幻觉率随机抽 1000 条 AI 输出人工标注是否存在事实性幻觉计算百分比。逻辑性幻觉率随机抽 1000 条推理类输出人工标注推理链条是否断裂计算百分比。虚构引用率随机抽 1000 条带引用的输出人工核查引用的真实性计算百分比。指标 2兜底话术触发率。置信度 0.6 时触发兜底话术的比例。健康范围5-15%太高说明 RAG 召回率低太低说明置信度评分太松。告警阈值 25% 或 2%。指标 3用户反馈率。用户对 AI 输出标记为不准确的比例。健康范围 0.5%。告警阈值 1%。三类告警分级——P0 告警立即处理事实性幻觉率 5%、虚构引用率 1%——可能是 RAG 系统出问题或知识库被污染立即熔断 AI 输出。P1 告警24 小时内处理兜底话术触发率 25%、用户反馈率 1%——可能是检索质量下降或用户问题分布变化需要排查。P2 告警周级别处理逻辑性幻觉率轻微上升、兜底话术触发率轻微异常——可能是季节性数据变化持续观察。律师 SaaS 平台上线监控告警体系后3 个月内发现并修复了 12 次 RAG 系统漂移——平均提前 14 天发现避免了上线后再爆雷。监控告警不是装个 Grafana 看板是**“AI 幻觉的体温计 血压计”**——少了它整个系统就是装在沙地上的房子。八、RAG 工程化清单——文档分块、索引更新、检索评测三件套最后是 RAG 工程化清单——四道闸、五类实践、监控告警之外的基础设施。清单 1文档分块Chunking标准。chunk_size根据文档类型——合同 256、法律意见书 512、技术文档 1024。chunk_overlap固定 10-20%。分块边界按段落/章节/表格语义边界切不用固定 token 数硬切。元数据每个 chunk 必须带 [文档 ID 章节 段落号 最后更新时间]用于溯源。清单 2索引更新Index Refresh标准。全量更新每周一次业务低峰期。增量更新文档变更后 24 小时内。索引版本每次更新必须保留旧版本至少 30 天可回滚。索引健康检查每次更新后自动跑检索评测召回率/精度下降 5% 自动告警。清单 3检索评测Retrieval Evaluation三件套。测试集构造 1000 条用户问题 期望检索 Top-3 文档的人工标注测试集。指标召回率RecallK 精度PrecisionK MRRMean Reciprocal Rank。频率每次索引更新后自动跑 每周一次全量评测。清单 4兜底话术管理。话术模板按场景分类法律/医疗/金融/通用每类至少 3 个变体。话术必须经过法务审核法律/医疗/金融场景。话术每月 review 一次根据用户反馈调整。清单 5事故复盘流程。每次幻觉事故必须 24 小时内复盘。复盘产出物事故时间线、原因分类检索失败 / 引用失败 / 置信度失败 / 兜底失败、修复方案、责任到人。复盘记录必须沉淀到知识库避免同类事故重复发生。这五件清单合起来就是 RAG 系统的工程 SOP——少了任何一件整个系统的可治理性就会慢慢消失。工程 SOP 不是写得漂亮是写得严——每一件都有具体的数字阈值、责任到人、可追溯。反常识金句 772 期版工程化清单不是给 AI 看的是给团队看的。工程化清单的本质不是约束 AI 的 SOP是约束团队行为的纪律。AI 不需要清单——清单是给人用的。为什么这么说因为AI 幻觉的问题根源不在 AI——AI 仍然会编、模型再强也仍然会编。问题在于团队是否在工程上把AI 幻觉这件事当作一个严肃的工程问题对待。工程化清单的作用是强制团队把AI 幻觉当作工程问题——文档分块清单强制团队在每次接入新知识库时做 chunk_size 决策不是用默认 1024 tokens 就行。索引更新清单强制团队在文档变更后 24 小时内更新索引不是等一周再说。检索评测清单强制团队在每次索引更新后跑评测不是上线后看效果。兜底话术管理清单强制团队每月 review 兜底话术不是用模板就行。事故复盘清单强制团队 24 小时内复盘每次事故不是等有空再说。没有这五件清单团队就会把AI 幻觉治理当成AI 工程师一个人的事——但事实上它是整个团队的工程纪律。工程化清单让团队所有相关角色产品经理、AI 工程师、运维、法务都对AI 幻觉这件事有清晰的责任和动作——这是清单的真正价值。九、金句收束我们这一期把AI 幻觉治理从概念落地为四道闸、五类实践、三类告警、五件清单——第一道闸 RAG 检索增强让 AI 优先基于真实知识回答。第二道闸 引用溯源标注让每个事实点钉在原始来源。第三道闸 置信度评分让 AI 主动评估我有多确定。第四道闸 兜底话术让置信度低时强制说我不知道。这四道闸焊死幻觉率从 30% 降到 3%。但四道闸只是工程纪律的一部分——没有工程 SOP没有监控告警没有事故复盘再多的闸也会慢慢腐烂。所以真正的 AI 幻觉治理是四道闸 五类实践 三类告警 五件清单 一套事故复盘流程——这一整套合起来才能让 AI 在零容忍档的场景里也能开口必带出处、出错时能兜住。金句——AI 幻觉不是用更大模型解决是用工程纪律兜住。更大模型只会让幻觉编得更像、让我们更难识别——不会让幻觉消失。RAG 不彻底解决幻觉但能把幻觉率从 30% 降到 3%。引用溯源不彻底消除虚构引用但能让虚构引用发生时钉死在屏幕上。置信度评分不彻底识别推理错误但能让推理错误发生时主动告知用户。兜底话术不彻底保护用户但能让 AI 在不知道的时候诚实地说我不知道。这四道闸合起来是 AI 时代工程纪律的真正含义——不是消除幻觉是让幻觉发生时出错的代价可承受、出错的过程可追溯、出错的复盘可改进。AI 时代真正的护城河不是模型能力是工程纪律——是把AI 可能错这件事转化为AI 错了也能兜住的能力。模型会变、技术会变、向量库会变但**在边界内说话、在边界外把关这条纪律不会变**。这就是 AI 时代工程治理的真正含义——敢上新是勇气能收住才是本事。我们这一期把AI 幻觉治理从概念变成可落地的工程纪律——四道闸、五类实践、三类告警、五件清单、一套事故复盘流程。这一整套不是AI 的优化方案是AI 时代工程治理的标准动作。上一篇我们讲了AI 幻觉是什么、为什么必然存在这一篇我们讲了怎么用工程纪律兜住。这一对双篇组合的核心命题是——AI 时代真正的护城河不是模型能力是工程纪律。模型能力会变GPT-4 → GPT-5 → GPT-6、技术栈会变ChromaDB → Qdrant → 新一代向量库、业务场景会变律师 SaaS → 医疗问诊 → 金融投顾但**在边界内说话、在边界外把关这条工程纪律不会变**。它和数据一致性、“多租户隔离”、备份恢复是同等级别的工程约束——是每个 AI 系统从 PoC 走向生产、从生产走向规模化都必须焊死的底线。AI 时代的产品经理和工程师比拼的不是谁用了更强的模型而是谁把工程纪律焊得更死。不是追新而是守底。不是炫技而是兜底。不是比拼模型能力而是把AI 可能错这件事转化为AI 错了也能兜住的能力。最后留一份自我检验清单给你——你团队现在的 AI 幻觉治理RAG 系统是否上线了四道闸RAG 引用溯源 置信度 兜底话术RAG 工程是否有五类实践向量库选型 / Embedding 选型 / 检索优化 / 缓存 / 降级的明确决策是否上线了幻觉率监控告警事实性 / 逻辑性 / 虚构引用三类独立指标 P0/P1/P2 三档告警是否有 RAG 工程化清单文档分块 / 索引更新 / 检索评测 / 兜底话术管理 / 事故复盘是否有专门的AI 幻觉事故复盘流程每次事故 24 小时内有产出物如果这五条里有任意一条你没做那你的 AI 系统就是一颗没装引信的炸弹——早晚会有一颗 RAG 引信被点燃。不要等到那一天才后悔。关于 ArchAIHarness这篇文章是「看懂 AI 与智能体」专栏的一部分由ArchAIHarness持续输出。ArchAIHarness 是一套面向 AI 时代软件工程的人机协同架构哲学与公开工程资产主张架构师定义秩序AI 在秩序中生长。人立法AI 执行体系审计。如果你也希望 AI 在明确的架构边界内协作而不是在混沌中碰运气欢迎到 GitHub 上看看我们在做什么组织主页github.com/ArchAIHarness — 了解完整理念与资产全景本专栏zhuanlan-ai-and-agents— 所有文章的源码与发布记录实践指南docs— 架构哲学、工程方法和落地指南开源工具agent-workflows— 可复用的 AI 协作 Agents、Skills 与 Tools工程样例framework— DDD AI 协作的工程底座展示如何在开发中融合 AIEngineered by Architects · Empowered by AI · Audited by Discipline