这项由中国科学技术大学、北京元石科技和北京市农林科学院信息技术研究中心联合开展的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.26497有兴趣深入了解的读者可通过该编号查询完整论文。**一个你可能没想过的问题**假设你是一家大公司的IT主管公司内部积累了几十万份文件——员工聊天记录、项目工单、邮件、会议纪要、代码审查记录……你想搭建一个智能助手让员工能用自然语言提问系统自动从这些文件里找到答案。现在市面上有一堆方案有用传统关键词搜索的有用AI向量搜索的有用知识图谱构建复杂关系网络的还有让AI像侦探一样自己翻文件夹的。哪个最好大多数人会本能地觉得越先进越好用图谱、用Agent总比老古董关键词搜索强吧这支研究团队决定认真测一测这个问题——而且他们的测试方式和以往所有评测都不一样。**一、问题的根源大家都在单场比赛里评判选手**以往的AI检索评测通常是这样的在一个固定大小的文档库上跑一跑各种方法看谁的准确率高。这就像只看运动员在100米短跑里的表现就判断谁适合当马拉松冠军。问题在于现实中的企业文档库不是固定的。它们会不断增长从几千份文件变成几万份、几十万份。不同检索方法在文档量小的时候可能差距不大但随着文档量增长各自的优劣会发生根本性的变化——有的方法越跑越强有的方法越跑越喘不过气。研究团队称这种现象为规模相关的拐点。他们想知道当文档量从小变大各种方法的准确率曲线会怎么走什么时候会发生你追我赶的超越为了回答这个问题他们设计了一个极其严格的实验——就像在同一条赛道上让所有选手在不同天气条件下反复比赛而不是换不同的赛道、换不同的裁判、换不同的规则。**二、实验的搭建一条28级的文档楼梯**实验的基础是一个叫做EnterpriseRAG-Bench的企业知识库测试集里面有511,959份文档总计约6亿个词汇单元token内容涵盖维基百科页面、员工即时通讯记录、项目工单、电子邮件、会议录音转写、客户关系管理记录和代码审查——这模拟了一家真实公司的完整知识积累。测试集还提供了500道题题型从简单的信息查找到公司里有没有相互矛盾的政策这样的复杂判断覆盖十种不同难度。研究团队构建的文档楼梯是这样运作的最底层只有1,144份文档这是基岩层每往上一级文档量乘以约1.25倍一共28级最顶层就是全部511,959份文档。这1,144份基岩层文档绝对不会变——500道题的标准答案文档全在里面此外还有精心设计的陷阱文档和诱饵文档专门用来迷惑检索系统。随着楼梯往上爬增加的只是背景噪音文档让问题越来越难找。基岩层里的陷阱文档326份尤其精妙。研究团队通过两种搜索方式分别提名候选文档再用语言模型筛选出那些主题相关但事实错误的文档——比如针对某项决策的查询陷阱文档里写的是错误的日期、版本号或最终结论。这样一来一个系统如果靠语义相近就行的逻辑很容易被陷阱文档欺骗。另有99份诱饵文档专门对应那些本来就没有答案的问题确保AI无法靠没搜到相关内容就等于问题无解来蒙混过关。整个实验的严格控制体现在所有方法用同一个阅读模型Qwen3.6-27B一种270亿参数的大语言模型生成答案用同一套打分规则评估准确率用同一个计量层记录每个步骤消耗的计算资源。这消除了张三用了更聪明的AI所以分数高这种干扰因素。**三、四种选手各怀绝技**研究团队在这条文档楼梯上测试了七个具体系统代表四种主要的检索增强生成RAG路线。第一种是BM25——这是一个诞生于上世纪80年代的经典关键词搜索算法工作原理类似于图书馆的卡片目录你搜季度财报它就找包含这些词最多的文档按相关性排序不需要任何AI参与建立索引几乎不花钱。第二种是DenseRAG密集检索——它把每份文档和每个问题都变成一个数学向量向量之间的距离代表语义相似度。建立索引需要用嵌入模型embedding model处理每份文档成本比BM25高一些但理论上能理解语义上相近但用词不同的查询。第三种是图谱系RAG——这一类方法会在建库阶段用AI把文档里的所有实体人名、项目名、术语和它们之间的关系抽取出来构建一张知识网络查询时沿着这张网络找答案。实验测试了四种图谱方法MS-GraphRAG用层级社区报告来组织知识LightRAG维护双层实体关系索引HippoRAG 2通过个性化PageRank一种类似Google网页排名的算法在图上游走找到相关事实LinearRAG则跳过生成式AI改用轻量级命名实体识别工具加嵌入模型来建图省去了大部分AI计算成本。第四种是文件系统Agent——这位选手完全不建任何索引而是像一个人类助手拿到一个硬盘之后靠自己的判断逐步翻文件夹、用关键词搜索、打开文件阅读来找答案。每个问题最多允许调用80次AI工具操作具体操作包括列出目录内容、关键词搜索和读取文件。**四、比赛结果一个出人意料的交叉点**在最底层的1,144份文档基岩层上文件系统Agent和BM25并列领先分别得了77.4分和74.7分满分100分。这两个分数的统计误差范围有重叠可以认为基本平手。图谱系方法里表现最好的HippoRAG 2拿了66.2分MS-GraphRAG和LightRAG在45至48分区间DenseRAG得58.1分。随着文档楼梯往上爬局势发生了变化。文件系统Agent的得分随文档量增加而加速下滑而BM25则相对稳健。在大约1,000万个词汇单元的规模附近对应约8,750到10,970份文档BM25的分数曲线和Agent的曲线发生了交叉此后BM25一路领先。到达顶层的全部511,959份文档时BM25还保持在50.5分而文件系统Agent只剩30.7分DenseRAG29.9分——BM25的领先优势接近20分。这个拐点是实验的核心发现。它不是某个理论预测而是在28个严格嵌套的文档规模上实际测量出来的曲线交叉。**五、为什么文件系统Agent会崩**要理解这件事可以把文件系统Agent比作一个侦探在一个存满文件盒的仓库里寻找特定案件的线索。当仓库只有两三排货架时侦探可以系统地翻一翻甚至凭借灵感直觉找到角落里的关键文件效率不低。但当仓库扩展到整整一栋大楼的几十万个文件盒时同样是一个人、同样的时间限制能翻到的比例就变得微乎其微而且越找越容易找偏。数据上的体现是在基岩层文件系统Agent平均消耗226,000个词汇单元来完成每道题的查找和回答到21,614份文档这一层这个数字增长到343,000——已经是BM25每题5,800个词汇单元的59倍。工具调用次数从中位数5次增长到8次预算耗尽80次调用不够用的比例在131,876份文档时达到15%在全量文档时达到31%。更严峻的是即使没有耗尽预算、顺利作答的那些问题准确率也在下滑——说明问题不仅仅是没找完而是找的方向本来就越来越难对。原因在于Agent的搜索方式是局部的、串行的每一步的决策依赖前一步的结果而前一步的结果又受到当前文档规模下哪些路径更显眼的影响。文档库越大相关文件在整个目录结构里的占比越低Agent越难导航到正确的分支。BM25则完全不同——它把整个文档库的词频信息一次性建成倒排索引每次查询都相当于同时扫描所有文档任何包含相关词汇的文档都有机会被排到前列。文档库从1万份扩展到50万份BM25的单次查询成本几乎不变因为它的工作原理本来就是全局排序而非局部探索。**六、图谱方法的建设工期问题**图谱系方法的处境则是另一种困境——它们甚至没能跑完所有28级楼梯。MS-GraphRAG在8,750份文档时就遭遇了资源上限后续规模的数据无法完成建库。研究团队测量了它的建库成本增长规律发现它近似线性增长指数约为0.92按这个趋势推算到全量60亿词汇单元的文档库需要消耗约79亿词汇单元的AI生成调用折合约50个实例天——哪怕用多台服务器并行也只能缩短日历时间无法减少总计算量而且并行建库通常还会引入更多不一致性问题。LightRAG的情况更糟。它在2,826份文档时就已无法在合理资源内完成建库而且它的建库成本增长是超线性的指数为1.36推算到全量数据需要约102,000亿词汇单元相当于一台服务器跑四年。即使用三倍算力也要超过一年。LightRAG之所以超线性增长是因为它在每加入新文档时需要反复更新全局实体合并表文档越多、合并次数越多、每次合并涉及的历史数据越多形成了雪球效应。HippoRAG 2的增长更接近线性指数为1.01能撑到131,876份文档才遭遇瓶颈推算到全量大约需要三天。但即便如此在它能完成的最大规模154.7M词汇单元上它的得分是41.0分比同规模下的BM25低约15分。LinearRAG走了一条平价路线——完全不用生成式AI来建库只用轻量命名实体识别工具加嵌入模型建库成本低到接近DenseRAG但最终准确率也只有46.2分基岩层与其他图谱方法相差无几。这暗示了一个有趣的结论在这个测试场景里花高价用AI抽取实体关系并不比便宜的替代方案带来显著的准确率提升。**七、分开来看Agent的能力是真实的只是用错了地方**一个关键问题是文件系统Agent的失败是因为AI推理能力弱还是因为搜索方式不对研究团队设计了一个精巧的对照实验来分离这两个因素。他们创建了一个叫AgentBM25的混合方案保持与文件系统Agent完全相同的AI模型、相同的推理框架、相同的80次调用预算但把自己翻文件夹的工具替换成BM25关键词搜索工具。第一次搜索被强制使用原始问题确保返回的前5个结果和直接用BM25完全一致之后的搜索才允许Agent自由发挥。结果非常显著。在基岩层文件系统Agent得87.1分直接BM25得81.3分AgentBM25得90.1分三者接近。但到全量文档时文件系统Agent跌到36.9分BM25保持54.8分AgentBM25则达到69.4分——比纯Agent高出32.5分也比纯BM25高出14.6分。从资源消耗看AgentBM25每题只用101,000词汇单元是文件系统Agent895,000词汇单元的九分之一平均工具调用次数也从36次降到5.79次。换句话说给Agent配上全局搜索能力之后它反而变得更高效、更准确因为它不再需要在巨大的文件迷宫里盲目摸索而是先得到一张全局候选地图再在地图上做针对性的深入探索。这个发现的意义在于Agent的推理能力本身是有价值的特别是在需要综合多个文档信息、解决矛盾、完成多步骤任务的场景里。但这种能力需要建立在先把候选文档找对的基础上不能期待它在海量文档里凭空定位到正确信息。**八、不同题型各有强弱**研究团队还在42,587份文档的规模上按问题类型拆分了各方法的得分。这一层数据揭示了BM25和Agent各自的优势领域。在基础信息查找、语义理解和与上下文无关的事实确认类题目上BM25占优或持平。这类题目通常有清晰的关键词线索BM25的精确词汇匹配恰好对症下药。文件系统Agent则在四类题目上领先单文档内的细节提取56分对BM25的27分差距悬殊、项目相关问题、需要确认某份文档是否完整覆盖某个话题的完整性判断题以及需要识别文档间相互矛盾的冲突信息题。这些题型的共同特点是需要在拿到候选文档后做更深入的推理和综合而不仅仅是把搜到的片段拼凑在一起。这与AgentBM25的设计理念完全契合用BM25完成全局候选文档发现再用Agent的推理能力处理需要深度理解的问题类型。在信息不存在类问题即正确答案是这个问题在文档库里找不到答案上BM25和Agent的得分都很高但原因不同。BM25因为没找到相关证据就不作答符合预期。Agent有时候会在没有证据的情况下仍然编造答案不过总体上随着规模增大这个问题反而因为Agent整体准确率下滑而不再突出。**九、词汇优势BM25为什么特别适合企业文档**研究团队还做了一系列控制实验来检验BM25的领先是否来自刷题优势——毕竟测试问题里的用词可能和文档里的用词高度重叠对关键词搜索天然有利。他们专门用改写后的同义表达版本重新提问换个说法问同一个问题再次比较各方法的表现。结果BM25在改写版问题下确实有所下滑但仍然优于DenseRAG和图谱方法。此外他们还把检索深度从前5个文档扩展到前10个文档在这个条件下BM25得分进一步提升到81至83分DenseRAG提升到66至70分HippoRAG 2在有数据的规模下提升到73分。这说明BM25的优势并非纯粹来自问题措辞与文档词汇的机械匹配而是它确实更擅长在企业类文档场景里定位到正确文档。研究团队给出的解释是企业文档里充满了精确的专有名词——项目代码、产品版本号、人名、日期、决策编号——这些信息在语义空间里和相关但事实错误的内容非常接近DenseRAG很难把v2.3正式版和v2.3测试版区分开但在词汇层面一眼即辨。陷阱文档专门针对的就是语义相近但事实有误的内容BM25的精确匹配机制天然地抵御了这类干扰。图谱方法在陷阱文档面前则格外脆弱知识图谱搜索的是语义邻近的实体和关系而陷阱文档在知识图谱的拓扑结构里往往和正确文档毗邻几乎无法区分。**十、成本全貌谁更经济实惠**把准确率和成本放在一起看可以得到一个直观的效率地图。BM25的建库成本是零AI计算只有CPU时间不调用任何AI模型每道题的查询消耗约5,800词汇单元。DenseRAG建库需要6.594亿词汇单元的嵌入计算每题查询约4,900词汇单元略低于BM25因为文档截断更积极但准确率显著低于BM25。文件系统Agent不需要建库但每题查询成本随规模急剧增长在全量文档时达到每题近90万词汇单元。HippoRAG 2建库需要约7.5百万词汇单元基岩层每题查询6,500词汇单元准确率在能建出来的规模上介于BM25和DenseRAG之间。MS-GraphRAG和LightRAG的建库成本分别达到3.51亿和3.46亿词汇单元基岩层已如此之后随规模快速膨胀。把500道题的查询开销和建库开销合并计算BM25在覆盖范围从10到10,000道题的所有场景下都处于准确率-总成本的帕累托前沿——即在相同成本下没有其他方法能做到更高的准确率在相同准确率下也没有更便宜的方法。**十一、图谱方法失败的三重原因**研究团队对图谱方法的失败给出了系统性的解释这三重原因相互叠加让图谱路线在当前测试场景下难以发挥优势。第一重是抽取噪音。在基岩层1,144份文档的建库中图谱方法抽取出了3.2万个实体其中包含大量格式错误的碎片——截断的句子片段、混入了文档格式标记的伪实体、同一实体的多种拼写变体。这些噪音实体在图谱里形成了虚假的连接查询时容易被误导到无关节点。第二重是语义陷阱的放大效应。图谱检索的核心逻辑是找到和查询实体相邻的知识节点而陷阱文档里的错误信息同一实体但属性值不同在图谱拓扑上和正确文档几乎无法区分导致图谱检索经常返回内容相关但事实错误的片段。第三重是信息蒸发。HippoRAG 2在构建三元组时丢弃了谓词的完整文本只保留实体本身——这意味着精确的关系语义比如批准了还是否决了、升级到还是降级到在建库过程中就已经消失查询时无法恢复。LinearRAG绕过了前两重问题轻量NER噪音较少不依赖生成式AI的语义理解但由于图谱本身缺乏精确的关系语义最终效果与花费数十倍成本的LLM图谱方法相差无几这本身就是一个说明LLM建图未必值得的间接证据。**十二、对评测方法论本身的启示**这项研究顺带揭示了一个评测层面的系统性盲点如果只在一个固定文档规模上比较各种方法很可能得到完全错误的结论。在最小规模基岩层上文件系统Agent是领先的如果评测就在这里停下结论将是Agent比BM25更好。在中等规模约1,000万词汇单元上两者接近如果在这里停下结论将是两者差不多。只有跑完全程才能看到BM25在大规模下的持续领先。同理图谱方法通常在自己的发布论文里使用精心挑选的小规模数据集评测这些数据集往往没有针对性的陷阱文档也不会测试几十万份文档的场景——这自然会让图谱方法在论文里显得很好看但不能反映它们在真实部署场景下的表现。研究团队因此建议跨范式的检索评测应当同时报告多个规模下的准确率、建库和查询成本以及各方法实际能完成的文档覆盖范围。在能建出索引的规模下准确率是多少和在企业实际部署规模下有没有能建出的索引是两个不同的问题必须分开回答。**说到底这告诉了我们什么**归根结底这项研究用扎实的数据回答了一个很多人不敢直接面对的问题在大规模企业文档检索场景里一个40多年前发明的关键词搜索算法在综合准确率和成本的维度上仍然是目前最强的默认选择。这并不意味着新技术没有价值。Agent的多步推理能力在某些需要深度理解的题型上确实更出色但这种能力在配合全局搜索比如BM25之后才能充分发挥单独使用反而因为搜索方式的局限而大幅受损。图谱方法的知识结构化理念在某些特定场景比如关系推理密集、实体连接清晰的领域有其价值但在构建成本、噪音抵御和语义精确性方面还存在明显的工程挑战特别是在文档量达到企业实际部署规模时。对于正在考虑搭建企业内部知识检索系统的团队这项研究给出了一个相当明确的工程建议从BM25开始它几乎不花钱建库查询成本可预期准确率在大规模下优于其他方案如果业务里有大量需要综合多文档信息、解决矛盾或判断完整性的问题可以在BM25检索的基础上叠加Agent的深度推理能力在文档量还未达到百万量级之前LLM图谱建库的高成本很难通过准确率收益来弥补。当然这项研究基于特定的企业文档类型模拟公司的混合文档库、特定的问题集和特定的底层模型在其他领域比如需要复杂关系推理的科学文献库结论可能有所不同。研究团队也坦诚地指出了这一点。对于这个问题有更多好奇心的读者可以通过arXiv:2607.26497查阅完整论文数据和代码也作为实验补充材料随论文一同发布。---QAQ1BM25是什么为什么说它是已过时的算法ABM25是一种发明于上世纪80年代的关键词搜索算法原理类似图书馆卡片目录——你搜某个词它就找包含这些词频率最高的文档并排序。之所以有人认为它过时是因为它不能理解语义比如不知道汽车和轿车是相关的只能靠精确词汇匹配工作。但这项研究发现在企业文档场景里精确匹配反而是优势因为专业术语、版本号、项目代码这类关键信息用语义搜索很难精确区分BM25反而能一眼辨别。Q2AgentBM25比单独使用BM25准确率更高那应该直接用AgentBM25替代BM25吗A不一定。AgentBM25确实在全量文档下得了69.4分比纯BM25的54.8分高出约15分但代价是每道题的计算消耗从5,800词汇单元增长到101,000词汇单元大约是18倍。如果问题类型以简单信息查找为主增加的成本难以通过准确率提升来弥补如果问题需要综合多文档信息、识别矛盾或判断文档完整性AgentBM25的额外推理能力才更有价值。实际使用中可以根据问题类型动态决定是否调用Agent。Q3图谱RAG在小规模文档上表现如何是不是数据量少就该用图谱方法A图谱方法在小规模上确实比大规模上表现更接近BM25但即便在最小的1,144份文档基岩层上HippoRAG 2只得了66.2分仍比BM25的74.7分低约8分而MS-GraphRAG和LightRAG只有45至48分。此外即使在小规模上建库成本也并不低基岩层的MS-GraphRAG建库就消耗了3,510万词汇单元。因此除非业务场景明确以实体关系推理为主单纯因为数据量小就选择图谱方法从成本收益角度来看并不合算。 中国科技大学揭秘：“已过时“的搜索算法竟然打败了所有AI新贵？
这项由中国科学技术大学、北京元石科技和北京市农林科学院信息技术研究中心联合开展的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.26497有兴趣深入了解的读者可通过该编号查询完整论文。**一个你可能没想过的问题**假设你是一家大公司的IT主管公司内部积累了几十万份文件——员工聊天记录、项目工单、邮件、会议纪要、代码审查记录……你想搭建一个智能助手让员工能用自然语言提问系统自动从这些文件里找到答案。现在市面上有一堆方案有用传统关键词搜索的有用AI向量搜索的有用知识图谱构建复杂关系网络的还有让AI像侦探一样自己翻文件夹的。哪个最好大多数人会本能地觉得越先进越好用图谱、用Agent总比老古董关键词搜索强吧这支研究团队决定认真测一测这个问题——而且他们的测试方式和以往所有评测都不一样。**一、问题的根源大家都在单场比赛里评判选手**以往的AI检索评测通常是这样的在一个固定大小的文档库上跑一跑各种方法看谁的准确率高。这就像只看运动员在100米短跑里的表现就判断谁适合当马拉松冠军。问题在于现实中的企业文档库不是固定的。它们会不断增长从几千份文件变成几万份、几十万份。不同检索方法在文档量小的时候可能差距不大但随着文档量增长各自的优劣会发生根本性的变化——有的方法越跑越强有的方法越跑越喘不过气。研究团队称这种现象为规模相关的拐点。他们想知道当文档量从小变大各种方法的准确率曲线会怎么走什么时候会发生你追我赶的超越为了回答这个问题他们设计了一个极其严格的实验——就像在同一条赛道上让所有选手在不同天气条件下反复比赛而不是换不同的赛道、换不同的裁判、换不同的规则。**二、实验的搭建一条28级的文档楼梯**实验的基础是一个叫做EnterpriseRAG-Bench的企业知识库测试集里面有511,959份文档总计约6亿个词汇单元token内容涵盖维基百科页面、员工即时通讯记录、项目工单、电子邮件、会议录音转写、客户关系管理记录和代码审查——这模拟了一家真实公司的完整知识积累。测试集还提供了500道题题型从简单的信息查找到公司里有没有相互矛盾的政策这样的复杂判断覆盖十种不同难度。研究团队构建的文档楼梯是这样运作的最底层只有1,144份文档这是基岩层每往上一级文档量乘以约1.25倍一共28级最顶层就是全部511,959份文档。这1,144份基岩层文档绝对不会变——500道题的标准答案文档全在里面此外还有精心设计的陷阱文档和诱饵文档专门用来迷惑检索系统。随着楼梯往上爬增加的只是背景噪音文档让问题越来越难找。基岩层里的陷阱文档326份尤其精妙。研究团队通过两种搜索方式分别提名候选文档再用语言模型筛选出那些主题相关但事实错误的文档——比如针对某项决策的查询陷阱文档里写的是错误的日期、版本号或最终结论。这样一来一个系统如果靠语义相近就行的逻辑很容易被陷阱文档欺骗。另有99份诱饵文档专门对应那些本来就没有答案的问题确保AI无法靠没搜到相关内容就等于问题无解来蒙混过关。整个实验的严格控制体现在所有方法用同一个阅读模型Qwen3.6-27B一种270亿参数的大语言模型生成答案用同一套打分规则评估准确率用同一个计量层记录每个步骤消耗的计算资源。这消除了张三用了更聪明的AI所以分数高这种干扰因素。**三、四种选手各怀绝技**研究团队在这条文档楼梯上测试了七个具体系统代表四种主要的检索增强生成RAG路线。第一种是BM25——这是一个诞生于上世纪80年代的经典关键词搜索算法工作原理类似于图书馆的卡片目录你搜季度财报它就找包含这些词最多的文档按相关性排序不需要任何AI参与建立索引几乎不花钱。第二种是DenseRAG密集检索——它把每份文档和每个问题都变成一个数学向量向量之间的距离代表语义相似度。建立索引需要用嵌入模型embedding model处理每份文档成本比BM25高一些但理论上能理解语义上相近但用词不同的查询。第三种是图谱系RAG——这一类方法会在建库阶段用AI把文档里的所有实体人名、项目名、术语和它们之间的关系抽取出来构建一张知识网络查询时沿着这张网络找答案。实验测试了四种图谱方法MS-GraphRAG用层级社区报告来组织知识LightRAG维护双层实体关系索引HippoRAG 2通过个性化PageRank一种类似Google网页排名的算法在图上游走找到相关事实LinearRAG则跳过生成式AI改用轻量级命名实体识别工具加嵌入模型来建图省去了大部分AI计算成本。第四种是文件系统Agent——这位选手完全不建任何索引而是像一个人类助手拿到一个硬盘之后靠自己的判断逐步翻文件夹、用关键词搜索、打开文件阅读来找答案。每个问题最多允许调用80次AI工具操作具体操作包括列出目录内容、关键词搜索和读取文件。**四、比赛结果一个出人意料的交叉点**在最底层的1,144份文档基岩层上文件系统Agent和BM25并列领先分别得了77.4分和74.7分满分100分。这两个分数的统计误差范围有重叠可以认为基本平手。图谱系方法里表现最好的HippoRAG 2拿了66.2分MS-GraphRAG和LightRAG在45至48分区间DenseRAG得58.1分。随着文档楼梯往上爬局势发生了变化。文件系统Agent的得分随文档量增加而加速下滑而BM25则相对稳健。在大约1,000万个词汇单元的规模附近对应约8,750到10,970份文档BM25的分数曲线和Agent的曲线发生了交叉此后BM25一路领先。到达顶层的全部511,959份文档时BM25还保持在50.5分而文件系统Agent只剩30.7分DenseRAG29.9分——BM25的领先优势接近20分。这个拐点是实验的核心发现。它不是某个理论预测而是在28个严格嵌套的文档规模上实际测量出来的曲线交叉。**五、为什么文件系统Agent会崩**要理解这件事可以把文件系统Agent比作一个侦探在一个存满文件盒的仓库里寻找特定案件的线索。当仓库只有两三排货架时侦探可以系统地翻一翻甚至凭借灵感直觉找到角落里的关键文件效率不低。但当仓库扩展到整整一栋大楼的几十万个文件盒时同样是一个人、同样的时间限制能翻到的比例就变得微乎其微而且越找越容易找偏。数据上的体现是在基岩层文件系统Agent平均消耗226,000个词汇单元来完成每道题的查找和回答到21,614份文档这一层这个数字增长到343,000——已经是BM25每题5,800个词汇单元的59倍。工具调用次数从中位数5次增长到8次预算耗尽80次调用不够用的比例在131,876份文档时达到15%在全量文档时达到31%。更严峻的是即使没有耗尽预算、顺利作答的那些问题准确率也在下滑——说明问题不仅仅是没找完而是找的方向本来就越来越难对。原因在于Agent的搜索方式是局部的、串行的每一步的决策依赖前一步的结果而前一步的结果又受到当前文档规模下哪些路径更显眼的影响。文档库越大相关文件在整个目录结构里的占比越低Agent越难导航到正确的分支。BM25则完全不同——它把整个文档库的词频信息一次性建成倒排索引每次查询都相当于同时扫描所有文档任何包含相关词汇的文档都有机会被排到前列。文档库从1万份扩展到50万份BM25的单次查询成本几乎不变因为它的工作原理本来就是全局排序而非局部探索。**六、图谱方法的建设工期问题**图谱系方法的处境则是另一种困境——它们甚至没能跑完所有28级楼梯。MS-GraphRAG在8,750份文档时就遭遇了资源上限后续规模的数据无法完成建库。研究团队测量了它的建库成本增长规律发现它近似线性增长指数约为0.92按这个趋势推算到全量60亿词汇单元的文档库需要消耗约79亿词汇单元的AI生成调用折合约50个实例天——哪怕用多台服务器并行也只能缩短日历时间无法减少总计算量而且并行建库通常还会引入更多不一致性问题。LightRAG的情况更糟。它在2,826份文档时就已无法在合理资源内完成建库而且它的建库成本增长是超线性的指数为1.36推算到全量数据需要约102,000亿词汇单元相当于一台服务器跑四年。即使用三倍算力也要超过一年。LightRAG之所以超线性增长是因为它在每加入新文档时需要反复更新全局实体合并表文档越多、合并次数越多、每次合并涉及的历史数据越多形成了雪球效应。HippoRAG 2的增长更接近线性指数为1.01能撑到131,876份文档才遭遇瓶颈推算到全量大约需要三天。但即便如此在它能完成的最大规模154.7M词汇单元上它的得分是41.0分比同规模下的BM25低约15分。LinearRAG走了一条平价路线——完全不用生成式AI来建库只用轻量命名实体识别工具加嵌入模型建库成本低到接近DenseRAG但最终准确率也只有46.2分基岩层与其他图谱方法相差无几。这暗示了一个有趣的结论在这个测试场景里花高价用AI抽取实体关系并不比便宜的替代方案带来显著的准确率提升。**七、分开来看Agent的能力是真实的只是用错了地方**一个关键问题是文件系统Agent的失败是因为AI推理能力弱还是因为搜索方式不对研究团队设计了一个精巧的对照实验来分离这两个因素。他们创建了一个叫AgentBM25的混合方案保持与文件系统Agent完全相同的AI模型、相同的推理框架、相同的80次调用预算但把自己翻文件夹的工具替换成BM25关键词搜索工具。第一次搜索被强制使用原始问题确保返回的前5个结果和直接用BM25完全一致之后的搜索才允许Agent自由发挥。结果非常显著。在基岩层文件系统Agent得87.1分直接BM25得81.3分AgentBM25得90.1分三者接近。但到全量文档时文件系统Agent跌到36.9分BM25保持54.8分AgentBM25则达到69.4分——比纯Agent高出32.5分也比纯BM25高出14.6分。从资源消耗看AgentBM25每题只用101,000词汇单元是文件系统Agent895,000词汇单元的九分之一平均工具调用次数也从36次降到5.79次。换句话说给Agent配上全局搜索能力之后它反而变得更高效、更准确因为它不再需要在巨大的文件迷宫里盲目摸索而是先得到一张全局候选地图再在地图上做针对性的深入探索。这个发现的意义在于Agent的推理能力本身是有价值的特别是在需要综合多个文档信息、解决矛盾、完成多步骤任务的场景里。但这种能力需要建立在先把候选文档找对的基础上不能期待它在海量文档里凭空定位到正确信息。**八、不同题型各有强弱**研究团队还在42,587份文档的规模上按问题类型拆分了各方法的得分。这一层数据揭示了BM25和Agent各自的优势领域。在基础信息查找、语义理解和与上下文无关的事实确认类题目上BM25占优或持平。这类题目通常有清晰的关键词线索BM25的精确词汇匹配恰好对症下药。文件系统Agent则在四类题目上领先单文档内的细节提取56分对BM25的27分差距悬殊、项目相关问题、需要确认某份文档是否完整覆盖某个话题的完整性判断题以及需要识别文档间相互矛盾的冲突信息题。这些题型的共同特点是需要在拿到候选文档后做更深入的推理和综合而不仅仅是把搜到的片段拼凑在一起。这与AgentBM25的设计理念完全契合用BM25完成全局候选文档发现再用Agent的推理能力处理需要深度理解的问题类型。在信息不存在类问题即正确答案是这个问题在文档库里找不到答案上BM25和Agent的得分都很高但原因不同。BM25因为没找到相关证据就不作答符合预期。Agent有时候会在没有证据的情况下仍然编造答案不过总体上随着规模增大这个问题反而因为Agent整体准确率下滑而不再突出。**九、词汇优势BM25为什么特别适合企业文档**研究团队还做了一系列控制实验来检验BM25的领先是否来自刷题优势——毕竟测试问题里的用词可能和文档里的用词高度重叠对关键词搜索天然有利。他们专门用改写后的同义表达版本重新提问换个说法问同一个问题再次比较各方法的表现。结果BM25在改写版问题下确实有所下滑但仍然优于DenseRAG和图谱方法。此外他们还把检索深度从前5个文档扩展到前10个文档在这个条件下BM25得分进一步提升到81至83分DenseRAG提升到66至70分HippoRAG 2在有数据的规模下提升到73分。这说明BM25的优势并非纯粹来自问题措辞与文档词汇的机械匹配而是它确实更擅长在企业类文档场景里定位到正确文档。研究团队给出的解释是企业文档里充满了精确的专有名词——项目代码、产品版本号、人名、日期、决策编号——这些信息在语义空间里和相关但事实错误的内容非常接近DenseRAG很难把v2.3正式版和v2.3测试版区分开但在词汇层面一眼即辨。陷阱文档专门针对的就是语义相近但事实有误的内容BM25的精确匹配机制天然地抵御了这类干扰。图谱方法在陷阱文档面前则格外脆弱知识图谱搜索的是语义邻近的实体和关系而陷阱文档在知识图谱的拓扑结构里往往和正确文档毗邻几乎无法区分。**十、成本全貌谁更经济实惠**把准确率和成本放在一起看可以得到一个直观的效率地图。BM25的建库成本是零AI计算只有CPU时间不调用任何AI模型每道题的查询消耗约5,800词汇单元。DenseRAG建库需要6.594亿词汇单元的嵌入计算每题查询约4,900词汇单元略低于BM25因为文档截断更积极但准确率显著低于BM25。文件系统Agent不需要建库但每题查询成本随规模急剧增长在全量文档时达到每题近90万词汇单元。HippoRAG 2建库需要约7.5百万词汇单元基岩层每题查询6,500词汇单元准确率在能建出来的规模上介于BM25和DenseRAG之间。MS-GraphRAG和LightRAG的建库成本分别达到3.51亿和3.46亿词汇单元基岩层已如此之后随规模快速膨胀。把500道题的查询开销和建库开销合并计算BM25在覆盖范围从10到10,000道题的所有场景下都处于准确率-总成本的帕累托前沿——即在相同成本下没有其他方法能做到更高的准确率在相同准确率下也没有更便宜的方法。**十一、图谱方法失败的三重原因**研究团队对图谱方法的失败给出了系统性的解释这三重原因相互叠加让图谱路线在当前测试场景下难以发挥优势。第一重是抽取噪音。在基岩层1,144份文档的建库中图谱方法抽取出了3.2万个实体其中包含大量格式错误的碎片——截断的句子片段、混入了文档格式标记的伪实体、同一实体的多种拼写变体。这些噪音实体在图谱里形成了虚假的连接查询时容易被误导到无关节点。第二重是语义陷阱的放大效应。图谱检索的核心逻辑是找到和查询实体相邻的知识节点而陷阱文档里的错误信息同一实体但属性值不同在图谱拓扑上和正确文档几乎无法区分导致图谱检索经常返回内容相关但事实错误的片段。第三重是信息蒸发。HippoRAG 2在构建三元组时丢弃了谓词的完整文本只保留实体本身——这意味着精确的关系语义比如批准了还是否决了、升级到还是降级到在建库过程中就已经消失查询时无法恢复。LinearRAG绕过了前两重问题轻量NER噪音较少不依赖生成式AI的语义理解但由于图谱本身缺乏精确的关系语义最终效果与花费数十倍成本的LLM图谱方法相差无几这本身就是一个说明LLM建图未必值得的间接证据。**十二、对评测方法论本身的启示**这项研究顺带揭示了一个评测层面的系统性盲点如果只在一个固定文档规模上比较各种方法很可能得到完全错误的结论。在最小规模基岩层上文件系统Agent是领先的如果评测就在这里停下结论将是Agent比BM25更好。在中等规模约1,000万词汇单元上两者接近如果在这里停下结论将是两者差不多。只有跑完全程才能看到BM25在大规模下的持续领先。同理图谱方法通常在自己的发布论文里使用精心挑选的小规模数据集评测这些数据集往往没有针对性的陷阱文档也不会测试几十万份文档的场景——这自然会让图谱方法在论文里显得很好看但不能反映它们在真实部署场景下的表现。研究团队因此建议跨范式的检索评测应当同时报告多个规模下的准确率、建库和查询成本以及各方法实际能完成的文档覆盖范围。在能建出索引的规模下准确率是多少和在企业实际部署规模下有没有能建出的索引是两个不同的问题必须分开回答。**说到底这告诉了我们什么**归根结底这项研究用扎实的数据回答了一个很多人不敢直接面对的问题在大规模企业文档检索场景里一个40多年前发明的关键词搜索算法在综合准确率和成本的维度上仍然是目前最强的默认选择。这并不意味着新技术没有价值。Agent的多步推理能力在某些需要深度理解的题型上确实更出色但这种能力在配合全局搜索比如BM25之后才能充分发挥单独使用反而因为搜索方式的局限而大幅受损。图谱方法的知识结构化理念在某些特定场景比如关系推理密集、实体连接清晰的领域有其价值但在构建成本、噪音抵御和语义精确性方面还存在明显的工程挑战特别是在文档量达到企业实际部署规模时。对于正在考虑搭建企业内部知识检索系统的团队这项研究给出了一个相当明确的工程建议从BM25开始它几乎不花钱建库查询成本可预期准确率在大规模下优于其他方案如果业务里有大量需要综合多文档信息、解决矛盾或判断完整性的问题可以在BM25检索的基础上叠加Agent的深度推理能力在文档量还未达到百万量级之前LLM图谱建库的高成本很难通过准确率收益来弥补。当然这项研究基于特定的企业文档类型模拟公司的混合文档库、特定的问题集和特定的底层模型在其他领域比如需要复杂关系推理的科学文献库结论可能有所不同。研究团队也坦诚地指出了这一点。对于这个问题有更多好奇心的读者可以通过arXiv:2607.26497查阅完整论文数据和代码也作为实验补充材料随论文一同发布。---QAQ1BM25是什么为什么说它是已过时的算法ABM25是一种发明于上世纪80年代的关键词搜索算法原理类似图书馆卡片目录——你搜某个词它就找包含这些词频率最高的文档并排序。之所以有人认为它过时是因为它不能理解语义比如不知道汽车和轿车是相关的只能靠精确词汇匹配工作。但这项研究发现在企业文档场景里精确匹配反而是优势因为专业术语、版本号、项目代码这类关键信息用语义搜索很难精确区分BM25反而能一眼辨别。Q2AgentBM25比单独使用BM25准确率更高那应该直接用AgentBM25替代BM25吗A不一定。AgentBM25确实在全量文档下得了69.4分比纯BM25的54.8分高出约15分但代价是每道题的计算消耗从5,800词汇单元增长到101,000词汇单元大约是18倍。如果问题类型以简单信息查找为主增加的成本难以通过准确率提升来弥补如果问题需要综合多文档信息、识别矛盾或判断文档完整性AgentBM25的额外推理能力才更有价值。实际使用中可以根据问题类型动态决定是否调用Agent。Q3图谱RAG在小规模文档上表现如何是不是数据量少就该用图谱方法A图谱方法在小规模上确实比大规模上表现更接近BM25但即便在最小的1,144份文档基岩层上HippoRAG 2只得了66.2分仍比BM25的74.7分低约8分而MS-GraphRAG和LightRAG只有45至48分。此外即使在小规模上建库成本也并不低基岩层的MS-GraphRAG建库就消耗了3,510万词汇单元。因此除非业务场景明确以实体关系推理为主单纯因为数据量小就选择图谱方法从成本收益角度来看并不合算。