桥接证据：静态检索效用无法预测多步骤智能体检索因果效用

桥接证据静态检索效用无法预测多步骤智能体检索因果效用论文原网页地址https://arxiv.org/html/2607.15253v1摘要现有检索系统的训练与评测均基于静态效用假设将文档与问题直接交给阅读模型根据答案提升程度打分nDCG、MAP、MRR、稠密检索排序损失等主流指标均遵循该逻辑。该假设仅适用于单轮静态阅读场景当大模型作为多步骤ReAct检索智能体时文档价值不再由其直接回答问题的能力决定而是取决于它能否引导智能体生成后续有效查询。本文采用反事实轨迹探测定量量化二者差距基于HotpotQA分层采样1000条开发集问题对智能体每一步读取的文档执行「删除重放」干预对比原始轨迹与删除文档后的反事实轨迹构建反事实轨迹效用CTU由答案质量、下一轮检索效果、交互轮次三类差值加权构成。在23322条文档观测样本上静态检索效用SRU与CTU斯皮尔曼相关系数仅-0.026二者近似统计独立约35.7%的文档属于桥接证据静态阅读判定无用但删除后会导致整条推理轨迹崩溃。即使将SRU替换为BM25、交叉编码器传统检索得分做鲁棒性验证桥接文档占比仍达27.2%。机制实验揭示桥接证据生效原理引入可观测实体相关性OER判别指标区分高/低判别力实体高OER实体出现在下一轮查询的概率是低实体的4.02倍6.1% vs 1.5%样本量227139。桥接文档核心价值是提供具备判别力实体引导检索方向。实验结论静态相关性与智能体场景下的因果检索效用是完全不同的指标仅优化静态检索指标无法提升多步智能体检索效果。关键词智能体检索、反事实评测、证据效用、多跳问答、实体相关性核心四大贡献提出反事实轨迹探测CTE评测框架单文档删除干预可隔离单一文档对整条推理轨迹的因果贡献定义复合指标CTU反事实轨迹效用给出严格无因果效应理论阈值实现文档因果价值量化大规模实证证明SRU与CTU几乎无相关性超三成样本为桥接文档BM25/交叉编码器验证结论稳健揭示桥接证据底层机制高可观测相关性实体更容易流入后续查询解释文档跨轮次引导作用。1 引言1.1 传统静态检索假设局限经典检索评测逻辑文档是否有用文档问题输入阅读模型能否优化答案。该范式支撑全部传统检索指标与稠密检索训练目标但隐含强前提模型一次性读取问题文档无历史推理、无多轮搜索规划。ReAct类多跳检索智能体打破该前提智能体交替执行「思考-检索-阅读」文档价值不再局限于直接作答。部分文档不含答案但能提供关键实体引导下一轮精准查询部分文档包含标准答案但智能体已有相关知识读取后无任何增益。典型案例夏威夷第六任州长问题首段仅给出人名Linda Lingle无党派、环保法案信息。静态阅读判定完全无用但删除该文档后智能体无法构造下一轮查询整条推理失败。本文将此类文档命名桥接证据静态指标低分但具备关键跨轮次因果价值。1.2 研究方案设计单纯理论论证缺乏说服力本文采用反事实因果评测方案干预手段从当前检索列表删除单篇文档固定前置全部轨迹重放后续完整流程对比维度最终答案质量、下一轮检索召回效果、交互总轮次融合为CTU指标划分四象限高SR高CTU有效证据、高SR低CTU冗余证据、低SR高CTU桥接证据、低SR低CTU无效文档实体机制实验基于OER指标验证桥接文档依靠高判别实体改变后续检索方向。1.3 论文结构第2章完整定义智能体轨迹、反事实评测框架、SRU/CTU/OER指标第3章给出四象限统计、相关性、实体传播全套实验第4章讨论效度威胁第5章总结附录提供完整提示词、实验脚本。2 方法体系2.1 基础任务与智能体定义2.1.1 ReAct多跳检索智能体模型基座Qwen2.5-7B-Instruct检索后端为维基百科段落级BM25索引每轮返回Top50交叉编码器重排后取前10送入上下文限制最多4轮检索禁止重复查询。状态转移公式St→(thought上下文窗口t,qt,Dt)→St1S_{t} \rightarrow (\text{thought上下文窗口}_t, q_t, D_t) \rightarrow S_{t1}St​→(thought上下文窗口t​,qt​,Dt​)→St1​StS_tSt​t步推理隐状态qtq_tqt​本轮检索queryDtD_tDt​检索段落集合。下一轮查询生成仅依赖当前上下文与读取文档(thought上下文窗口t,Dt[:10])→qt1(\text{thought上下文窗口}_t, D_t[:10]) \rightarrow q_{t1}(thought上下文窗口t​,Dt​[:10])→qt1​文档是改变下一轮检索query的唯一可控变量本文仅对DtD_tDt​做删除干预不修改模型内部隐推理。2.1.2 数据集与采样规则基准HotpotQA开发集7405条问题分层抽样1000条复现样本。过滤规则仅保留黄金支持段落能被BM25 Top50召回的样本分层分配70%桥型问题、30%对比型固定随机种子保证可复现。剔除仅1轮无后续查询的样本无法计算CTU最终有效观测23322条文档记录。2.2 反事实轨迹探测框架CTE2.2.1 单文档删除干预原始检索列表[d1,d2...d10][d_1,d_2...d_{10}][d1​,d2​...d10​]删除did_idi​后重放整条后续轨迹前置步骤完全固定[d1,d2,…,d10]→[d1,…,di−1,di1,…,d10][d_1,d_2,\dots,d_{10}] \rightarrow [d_1,\dots,d_{i-1},d_{i1},\dots,d_{10}][d1​,d2​,…,d10​]→[d1​,…,di−1​,di1​,…,d10​]遍历每一步每一篇读取文档批量生成原始/反事实成对轨迹。推理温度置0、关闭随机采样最大程度消除模型随机性干扰。2.2.3 两大核心效用指标1静态检索效用 SRU仅用文档问题输入空白阅读模型对比「有文档」「无文档零样本」答案F1差值ΔSRUF1(带文档答案)−F1(无文档答案)\Delta \mathrm{SRU} \mathrm{F1}(\text{带文档答案}) - \mathrm{F1}(\text{无文档答案})ΔSRUF1(带文档答案)−F1(无文档答案)ΔSRU0\Delta \mathrm{SRU}0ΔSRU0代表静态场景下文档具备作答增益。2反事实轨迹效用 CTU融合三类标准化差值权重均等CTUΔ~answerΔ~next-queryΔ~effort\mathrm{CTU} \tilde{\Delta}_{\text{answer}} \tilde{\Delta}_{\text{next-query}} \tilde{\Delta}_{\text{effort}}CTUΔ~answer​Δ~next-query​Δ~effort​Δanswer原始答案F1−反事实答案F1\Delta_{\text{answer}} \text{原始答案F1} - \text{反事实答案F1}Δanswer​原始答案F1−反事实答案F1删除文档后答案变差则为正Δnext-query原查询nDCG−反事实查询nDCG\Delta_{\text{next-query}} \text{原查询nDCG} - \text{反事实查询nDCG}Δnext-query​原查询nDCG−反事实查询nDCG删除后下一轮检索召回变差则为正Δeffort反事实总轮数−原始总轮数\Delta_{\text{effort}} \text{反事实总轮数} - \text{原始总轮数}Δeffort​反事实总轮数−原始总轮数删除后需要更多轮次则为正全部分量最小-最大归一化求和。理论零效应阈值CTU1.4高于该值文档具备正向因果价值低于则删除后整体效果更好样本中位数恰好等于1.4阈值无人工主观设定。2.3 静态检索替代指标鲁棒性验证归一化BM25单问题内分值除以该问题最大BM25归一化交叉编码器得分单问题内最小-最大缩放答案包含二元标记文档是否包含标准答案字符串。2.4 可观测实体相关性 OER桥接证据机制指标2.4.1 定义区分实体在候选集中区分相关/无关文档的判别能力公式p^reldfrelαR2α,p^nonreldfnonrelαNR2α\hat{p}_{\mathrm{rel}}\frac{\mathrm{df}_{\mathrm{rel}}\alpha}{R2\alpha},\quad \hat{p}_{\mathrm{nonrel}}\frac{\mathrm{df}_{\mathrm{nonrel}} \alpha}{NR2\alpha}p^​rel​R2αdfrel​α​,p^​nonrel​NR2αdfnonrel​α​w(e,q)1−exp⁡(−dfcand/τ),OER(e,q)w(e,q)[logitp^rel−logitp^nonrel]w(e,q)1-\exp(-\mathrm{df}_{\mathrm{cand}}/\tau),\quad \mathrm{OER}(e,q)w(e,q)\big[\mathrm{logit}\hat{p}_{\mathrm{rel}}-\mathrm{logit}\hat{p}_{\mathrm{nonrel}}\big]w(e,q)1−exp(−dfcand​/τ),OER(e,q)w(e,q)[logitp^​rel​−logitp^​nonrel​]α0.5,τ5\alpha0.5,\tau5α0.5,τ5OER0为高判别力实体仅出现在黄金相关文档。2.4.2 实体传播率统计统计实体流入下一轮查询概率精确匹配完整实体短语出现在query分词边界部分匹配实体至少2字符非停用词token出现在query统计高OER、低OER实体传播比例计算倍数差异。2.5 四象限划分标准| 象限 | ΔSRU | CTU | 定义 || A | 0 | 1.4 | 标准有效文档静态、因果均有用 || B | 0 | ≤1.4 | 冗余文档静态能作答删除不影响轨迹 || C | ≤0 | 1.4 | 桥接文档静态无用因果关键 || D | ≤0 | ≤1.4 | 完全无效文档 |3 完整实验结果3.1 基础统计23322条文档观测全部CTU分量中位数严格等于0代表大多数文档删除后无变化整体CTU均值1.391、中位数1.4与理论零效应阈值完全吻合。ΔSRU均值仅0.0048多跳问题单文档极少能独立作答静态指标区分度极低。3.2 SRU与CTU相关性四象限分布斯皮尔曼相关系数ρ−0.026\rho-0.026ρ−0.026二者几乎完全独立。全样本象限占比A标准有效1.12%B冗余2.18%C桥接35.72%D无效60.98%超三成文档属于桥接证据验证核心假设。按轮次拆分轮次越高桥接文档占比越高2轮22.30% / 4轮41.62%但该趋势由指标数学构造导致不代表难题桥文档更多。3.3 鲁棒性实验BM25交叉编码器替代SRU筛选BM25与CE打分同向样本共9600条桥接象限占比27.16%结论稳定二者相关系数接近0传统检索指标同样无法预测智能体因果效用。3.4 实体传播机制实验227139条实体观测H1验证高OER实体更容易流入下一轮查询精确匹配传播率高OER6.1%低OER1.5倍数4.02倍卡方检验p远小于10−30010^{-300}10−300部分匹配高14.4%低8.2%倍数1.77倍。高判别实体更容易被智能体带入后续查询解释桥接文档核心作用。H2验证桥文档实体传播更强假设「桥文档内高OER实体传播率高于普通有效文档」无法复现正负样本比例随匹配规则反转结论不成立。3.5 效度威胁分析CTU依赖当前LLM基座更换模型数值会变化但独立趋势不变SRU指标区分度极低仅3.3%文档静态增益0反事实存在微小模型随机噪声大样本下不影响整体结论OER仅依托Hotpot黄金段落标签无外部人工标注BM25CE鲁棒实验过滤近六成冲突样本结论仅适二者打分一致场景。4 结论静态检索效用SRU/BM25/交叉编码器与多步骤智能体场景下的因果轨迹效用CTU近似统计独立传统检索优化目标不匹配智能体真实需求海量桥接证据存在静态完全无法作答但删除会导致整条推理失效样本占比27%~36%底层机制桥接文档提供高OER判别实体引导智能体生成有效下一轮查询实体传播倍数达4倍现有检索训练、评测体系不适配多跳检索智能体亟需面向因果轨迹效用的新型检索指标与损失函数。附录附录A 全套提示词模板ReAct检索智能体系统提示静态SRU阅读模型提示带文档/零文档两套附录B 实验复现脚本说明数据集分层抽样代码批量反事实轨迹删除重放主程序CTU、OER指标批量计算脚本四象限统计、相关性绘图代码附录C 超参配置LLMQwen2.5-7B-Instructtemperature0检索段落BM25交叉编码器重排Top10OER参数α0.5,τ5\alpha0.5,\tau5α0.5,τ5实体链接工具WAT置信阈值0.1。资源链接论文HTML原文https://arxiv.org/html/2607.15253v1论文PDFhttps://arxiv.org/pdf/2607.15253实验完整数据集、批量评测脚本、指标计算代码论文配套开源仓库发布后公开