这项由爱丁堡大学、赫瑞瓦特大学与Miniml.AI联合开展的研究以预印本形式发布于2026年7月1日论文编号为arXiv:2607.01002感兴趣的读者可通过该编号在arXiv平台查阅完整原文。当你问AI埃菲尔铁塔附近住着哪位角色和哪位角色去过巴黎这两个问题看上去不同却指向同一段文字。有趣的是大多数AI在第一个问题上表现完美在第二个问题上却会悄然犯错。这背后究竟发生了什么这支跨机构研究团队花费大量精力去追查AI大脑中那个真正负责理解而非照抄的神经机制最终找到了一个此前被所有人忽视的关键线索。一、从照抄机器到理解专家一个被长期忽视的区别要弄清楚这项研究在说什么先得理解一个基本设定。现代大型语言模型也就是GPT、Qwen、Gemma这类AI在处理长篇文字时并不是把整篇文章都记在脑子里而是依靠大量内部神经元协同工作从中捞出相关信息来回答问题。研究人员把这些负责捞信息的神经元称为检索头Retrieval Heads。过去几年学界已经知道这些检索头的存在。早期的研究者——比如吴等人2025年的工作——把这些检索头定义为当模型在回答问题时某个注意力头attention head可以把它理解成AI大脑里的一个小侦探会把目光集中到文章中包含答案的那段话上并且它关注的那个词恰好就是最终生成的答案词。这是一种照抄式检索模型在文章里找到了埃菲尔铁塔这个词然后把它直接输出。然而真实世界中的问题很少这么直白。当有人问哪位角色去过巴黎文章里根本没有去过巴黎这种说法只有Yuki住在埃菲尔铁塔附近。模型必须知道埃菲尔铁塔在巴黎然后反推出Yuki去过巴黎。这种理解需要的不是找到原词然后复制而是理解语义然后转化。这就是研究团队所说的非字面检索Non-Literal Retrieval。核心问题随之而来现有的所有检索头识别方法全都基于这个注意力头关注的词是不是最终答案词这一标准。这个标准对于照抄式检索完全有效但对于语义转化式检索它从根本上就是错误的——因为模型关注的是埃菲尔铁塔而最终输出的是Yuki两者根本不是同一个词。二、AI大脑里的两条流水线我在读哪里和我在写什么研究团队引入了一个极其重要的区分而这个区分在此之前几乎没有人在检索头研究中认真对待过。每个注意力头那个小侦探在工作时实际上分成两个独立的步骤。第一步叫做QK电路负责决定我应该把目光投向文章的哪个位置。第二步叫做OV电路负责决定我从那个位置读到信息之后应该往最终输出方向写入什么内容。可以用一个更直观的比喻来理解这两个步骤。假设你是一位厨师面对一桌子食材。QK电路相当于你的眼睛负责决定我要盯着那碗盐看。OV电路相当于你的手负责决定我从盐罐里拿出来的东西最终要放进菜里让菜变成什么味道。过去的研究只盯着厨师的眼睛研究他在看哪里这项新研究则开始关注厨师的手研究他到底放进了什么、最终改变了什么。对于字面检索这两条流水线是一致的厨师看着盐拿起盐放进菜里——眼睛看到什么手就放什么。但对于非字面检索两条流水线发生了解耦厨师看着的是埃菲尔铁塔一个地标但他的手放进菜里的是Yuki一个人名因为这位厨师懂得住在埃菲尔铁塔附近的那个人意味着什么。如果只看眼睛你会错误地认为这个侦探专注于埃菲尔铁塔所以它是处理地标信息的检索头。但如果同时看手你才能发现不对这个侦探虽然盯着地标但它真正服务于的是找出那个人的名字。三、LOCOS一套盯着写什么而非看哪里的侦探方法基于这个洞察研究团队提出了他们的核心方法命名为LOCOSLogit-Contribution Scoring逻辑贡献评分。这个名字拆开来理解Logit是AI内部计算每个候选词概率分数的原始数值Contribution是贡献Scoring是打分。合在一起意思就是通过每个注意力头对正确答案分数的贡献量来给这个头打分。具体操作分三步每一步都有清晰的数学表达但我们可以用厨师比喻来完整还原这个过程。第一步叫做逐位置计算贡献。对于每个注意力头在它关注文章中的每一个位置时研究团队都计算一个数值这个头从那个位置读到信息之后经过OV电路的转化最终对正确答案词的得分贡献了多少。这个数值用数学公式表达为 φ u?·(α·W_O·v)其中u是正确答案词在模型词典中的方向向量α是注意力权重W_O是OV电路的权重矩阵v是那个位置的值向量。通俗说就是这个头从某个位置读到的信息有多少是在朝着正确答案的方向推进如果一个头关注着埃菲尔铁塔但经过OV电路转化后输出的内容明显在推动Yuki这个词获得更高分数那它就有很大的贡献值。第二步叫做空间对比。仅仅知道某个头有贡献还不够关键是要判断它的贡献是真的来自文章中藏有答案的那段话研究中称为针needle还是来自文章中其他无关内容称为干草堆haystack。于是研究团队将每个头在针位置的总贡献与在其余位置的总贡献做了长度归一化使两者可比进行相减。如果差值为正且很大说明这个头是真正在从针的位置提取答案相关信息如果差值接近零或为负说明这个头的贡献主要来自其他地方与检索针中的答案无关。这个设计非常精妙因为它排除了那些对任何词的得分都有贡献的头——比如某些头可能无论在哪里都会稳定推高某个常见词的分数这种贡献是位置无关的不能算作真正的检索贡献。第三步叫做跨样本汇总。为了让评分更可靠研究团队在多个测试样本上重复上述计算只保留模型回答正确ROUGE-1召回率超过0.5的那些样本然后对所有答案生成步骤取平均值得到每个注意力头的最终LOCOS评分。评分越高说明这个头越可能是真正负责非字面检索的关键头。值得一提的是LOCOS的评分可以为负数。这意味着某个头对正确答案有贡献但贡献主要来自文章中与答案无关的位置。这类头可能参与的是参数化知识提取即模型背下来的知识而不是从当前文章中检索。这个设计让LOCOS能够区分从文章中提取和从记忆中提取这两种本质不同的机制。四、真刀实枪的考验把找到的检索头废掉看AI会怎样找到候选头之后研究团队用一种非常直接的方式来验证自己的判断是否正确把那些头废掉看AI的表现是否会崩塌。废掉的具体方式叫做均值消融Mean Ablation。做法是对于被选中的每个注意力头把它在处理查询时产生的查询向量替换为一个从大量样本中计算出的平均向量——这个平均向量不携带任何当前特定问题的信息导致这个头的注意力分配变得近似均匀随机无法再聚焦于文章中的任何特定位置。这样一来这个头就相当于被蒙住了眼睛无法再为检索贡献任何有效信息。然后研究团队在NoLiMa基准测试上评估被废掉后的模型表现。NoLiMaNon-Literal Matching非字面匹配是一个专门为检验非字面检索能力而设计的测试集每道题都要求模型读懂一段包含隐含信息的文章然后回答一个与文章措辞完全不同的问题——正是字面检索无法应付而必须依赖语义理解的场景。评估指标使用ROUGE-L这是一种衡量模型生成答案与标准答案相似度的分数满分为1越高越好。实验结果非常鲜明。在Qwen3-8B由阿里巴巴开发的一款拥有80亿参数的大型语言模型上废掉LOCOS排名前5的头ROUGE-L就从基线的0.401下降到0.321废掉前50个头分数直接跌至0.000——模型几乎完全丧失了从文章中提取答案的能力。相比之下用过去最强的基线方法吴等人的NIAH评分法选出的50个头废掉后模型还能保持0.292的分数。随机废掉50个头分数基本不变始终在0.358到0.402之间徘徊。这说明LOCOS找到的头是真正起作用的那批不是随便哪50个头都能达到这个效果。这一系列对比在研究团队测试的全部六个模型Qwen3的8B、14B、32B版本Gemma-3的12B和27B版本以及OLMo-3.1的32B版本上均呈现出一致的趋势LOCOS产生的ROUGE-L下降曲线在所有方法中最为陡峭在六个模型中的五个里废掉50个头后分数接近于零。五、防止自说自话严格的控制实验排除各种干扰发现了有效结果之后研究团队并不满足而是设计了多层控制实验逐一排除可能让结果看起来更好但实为假象的因素。第一层控制OV电路究竟贡献了多少LOCOS与过去方法相比有两处不同一是使用了OV电路投影二是使用了空间对比而非时间对比。研究团队构造了一个注意力权重版LOCOS保留空间对比的聚合方式但把每个位置的指标从OV贡献值换回纯注意力权重。结果表明在Qwen3-8B、Qwen3-32B和Gemma-3-12B上完整LOCOS明显优于仅使用注意力权重的版本在其他模型上两者表现相当。换句话说OV电路的信息并非在所有情况下都必不可少但它提供了更高的跨模型可靠性——LOCOS是唯一一个在所有六个模型上都能让分数接近崩塌的方法。第二层控制会不会只是因为废掉了对答案分数贡献大的头所以得分下降这是一个合理的质疑。为了排除这种可能研究团队废掉了LOCOS评分最低最负的50个头——这些头对正确答案也有较大的贡献只不过贡献主要来自文章中与答案无关的位置。结果显示废掉这些底部头之后ROUGE-L分数基本不变与随机废掉头的效果相差无几。这直接证明关键不在于头的绝对贡献大小而在于贡献是否来自文章中包含答案的正确位置。第三层控制这些头是不是AI整体功能的关键头而不只是检索的关键头如果废掉这些头连基本知识问答都会崩那就说明LOCOS找到的不是检索专用的头而是万能重要头。为此研究团队专门测试了三类不需要从文章中检索的任务城市与国家的对应关系比如巴黎属于哪个国家这种知识直接存在模型参数里、PopQA流行知识问答耶稣的母亲是谁这类常识题以及两个数字的加减运算。结果显示废掉LOCOS选出的前50个头后这三类任务的准确率几乎没有变化始终保持在基线水平附近。这清晰地表明LOCOS找到的这批头确实是检索专项的而不是模型的通用核心。研究团队还引入了一个叫解离分数Dissociation Score的指标专门用来量化检索能力下降和参数知识损失之间的差距。解离分数越高说明方法找到的头越是检索专属的。在所有测试的六个模型上LOCOS产生的解离分数始终是最高的超过所有基线方法。六、字面检索还是非字面检索LOCOS找到的头究竟属于哪类一个自然的问题是LOCOS方法选出的这些头是只对非字面检索有效还是对字面检索也有影响研究团队用一个精心设计的对比实验来回答这个问题。他们用同一批LOCOS选出的头这些头是在NoLiMa非字面检索任务上选出来的同时在NoLiMa和标准NIAH字面检索任务上评估废掉这些头的影响。结果出现了一个有趣的不对称NoLiMa分数下降得更快、更陡NIAH分数虽然也会下降但下降幅度明显较小。这个结果说明LOCOS选出的这些头里有一部分头在字面和非字面检索中都发挥作用因为两种检索都需要读取正确位置这个能力但还有一些头是专属于非字面检索的——只有当模型需要从语义层面转化信息时它们才真正起作用。字面检索受到的影响较小说明字面检索有其他冗余路径而非字面检索受到严重破坏说明那些专属头对语义转化至关重要而这正是过去的方法完全找不到的那部分。七、从测试场景到真实任务检索头的实战能力最后研究团队把目光从实验室场景转向了真实任务测试废掉LOCOS选出的头是否会影响模型在实际长文本理解任务中的表现。第一个测试任务是MuSiQue多跳问答这类题目要求模型把散落在多段文字中的信息拼接起来才能得出答案比如先找到某公司的CEO是谁再找到这位CEO出生于哪个城市才能回答这家公司的CEO的出生地在哪。第二个测试任务是BABILong长文本路径追踪具体使用了qa2和qa3子集要求模型在一大段混入了干扰叙事的文章中追踪某个物品被多次搬动后的最终位置。这类任务无法通过字面匹配完成因为物品出现在文章里许多不同位置模型必须追踪完整路径并判断最新状态。实验结果令人印象深刻尤其在Qwen3系列模型上。废掉Qwen3-8B的前50个LOCOS头后MuSiQue的准确率从0.55骤降至0.08BABILong从0.62骤降至0.20。相比之下随机废掉50个头两个任务的分数几乎没有变化始终在基线0.05范围内。在全部12个模型-任务组合中LOCOS在6个上造成了最大幅度的下降在8个上造成了超过0.10的显著下降。不过研究团队也如实指出在Gemma-3和OLMo-3.1的部分任务上基线方法吴等人的NIAH评分法造成的MuSiQue下降幅度更大。这可能是因为多跳问答同时依赖字面和非字面检索而NIAH评分法在字面检索头的识别上可能有其独到之处。八、层次分布的秘密关键头集中在哪些位置研究团队还对LOCOS选出的头在模型层次结构中的分布进行了仔细观察。结论是LOCOS高分头明显集中在模型的后几层尤其是Qwen3家族三个规模的模型都表现出这一规律和Gemma-3-27B。比如在Qwen3-8B中前10个LOCOS头全部集中在第29到第34层全部36层中的最后几层Qwen3-32B的64层中高分头集中在第54到第62层。对于这种后层集中现象研究团队做了多层次的验证和解释。一方面后层的头在输出层更近其直接路径投影LOCOS所使用的近似方法理论上更准确因为信息经过的后续非线性变换更少。为了排除这是纯粹的方法偏置而非真实现象研究团队用了两种额外方式进行验证其一是调谐透镜Tuned Lens这是一种通过学习到的线性变换来修正层间差异的投影方法其二是因果激活修补Causal Activation Patching一种无需线性假设的非线性因果验证方法。两种方法都确认后层集中并非仅仅是测量方法的偏差而真实反映了这些层在检索任务中的更大作用。与此同时吴等人的NIAH评分法会额外在早中层识别出大量头显示两种方法选择的头集合差异显著重叠率很低。研究团队也谨慎地指出这种后层集中现象是家族依赖的而非跨所有模型的普遍规律——在Gemma-3-12B和OLMo-3.1-32B上高分头跨越了更广泛的层次范围。说到底这项研究做了一件听起来简单但颇具意义的事情它指出了一个长期存在于研究界的盲点并用一套新方法把这个盲点填上了。过去的检索头研究只关心AI在读哪里却忽视了AI在写什么——而这两件事在面对需要语义理解的问题时完全可能指向不同的头。LOCOS通过追踪每个头对正确答案方向的实际贡献找到了那批真正在做语义转化工作的头并通过严格的消融实验、控制实验和下游任务测试验证了这些头的关键作用。这对普通人意味着什么AI在读长文、回答复杂问题时有多可靠可能就取决于这批关键头有没有正常工作。未来如果要在手机或服务器上更高效地运行AI一个思路就是压缩掉那些不重要的计算而LOCOS提供了一个更精准的判断标准让工程师知道哪些头是真正不可缺少的从而在不损失核心能力的情况下大幅降低计算开销。此外当AI在回答基于文档的问题时出现错误通过LOCOS可以更准确地定位是哪个环节出了问题而不是茫然地调整整个模型。对这项研究感兴趣的读者可以在arXiv平台通过编号arXiv:2607.01002查阅完整原文代码和数据集也已在GitHub上公开仓库地址在论文附录中有详细说明。QAQ1LOCOS方法和过去检测AI检索头的方法有什么本质区别A过去的方法只看AI的注意力集中在文章哪个词上然后判断那个词是不是答案词属于只看眼睛。LOCOS则同时追踪注意力头的输出内容是否真的在推动正确答案得分提升也就是同时看手。这个区别在面对非字面问题时非常关键因为AI关注的词和最终输出的答案词可能根本不是同一个词。Q2废掉检索头之后AI的表现为什么会崩塌得那么彻底A因为那些被LOCOS选中的头承担了将文章中的语义信息转化为答案方向的工作。废掉它们后模型无法再从文章中有效提取相关信息只能依赖内部参数化知识作答而参数化知识显然无法应对需要读取当前文章才能回答的问题导致分数接近零。Q3LOCOS对普通用户使用AI有什么实际影响A短期内普通用户不会直接感知但它是优化AI运行效率和可靠性的技术基础。未来借助LOCOS开发者可以在压缩AI模型体积时更精准地保留负责理解的关键部分同时更容易定位AI在长文档理解任务中犯错的原因从而让AI在回答文档类问题时更稳定可靠。