设想一个典型的评测场景某个大模型又在“前沿科学问答”榜单上刷新了纪录正确率大幅领先其他模型。你翻看答案理由物理、化学、生物题目都说得头头是道于是准备把“推理能力强”写进项目汇报。但在进一步复查时你把四个选项的位置随机换了一下重新跑了一遍测试集结果正确率突然掉了下来。出现这种情况通常说明模型并不是真正理解题目中的因果关系而是在利用选项位置、标签分布、题干措辞中的表面线索拿到“正确答案”。这种现象在 LLM 评测社区里有一个专门的称呼Shortcut Hacking捷径攻击。它和数据泄漏、过拟合不同更隐蔽也更危险。模型在完全合法的输入下通过一条训练数据中没有预设的“非预期路径”得到正确答案。对前沿科学基准Frontier Science Benchmarks来说这类问题尤其致命题目本身难度高、专业名词密集、选项设计复杂模型只要掌握少量统计关联就能伪装成“懂科学”。本文想给出一个清晰判断如果评测只统计最终答案的正确率不检查模型达到答案的路径那么所有基于“答案正确”得出的推理能力结论都是脆弱的。读完这篇文章你会理解 Shortcut Hacking 的常见模式并可以运行一套最小可用的 Python 分析脚本对现有的选择题推理基准做四类检查选项位置敏感性、答案文本泄漏、背景信息消融、训练语料重叠。1. 这篇文章真正要解决的问题先聊一个问题为什么前沿科学基准的评测分数经常不可信原因是三个层面叠加造成的。第一公开基准本身容易被污染。很多前沿科学题目来源于竞赛、大学教材、论文摘要和百科词条这些内容很早就进入了预训练语料。模型不一定“背下了答案”但它可能见过高度相似的题干和选项从而通过模糊记忆作答。评测者无法通过最终准确率区分“记忆”和“推理”。第二选项类任务天然存在格式捷径。一个单选题答案只可能是 A、B、C、D 中的一个。如果基准测试集的正确答案在标签上分布不均匀例如 A 占 60%而模型恰好更偏向选 A那么它不需要理解任何科学知识也能拿到明显高于随机水平的分数。这就是 Shortcut Hacking 里最常见的“标签偏差”。第三评测管道的答案提取环节并不安全。很多评测代码为了省事只从模型输出里提取第一个字母或最后一个数字。一旦模型输出的 reasoning 字段出现格式异常例如类似api error: 400 messages.2.content.0.signature: malformed encrypted reasoning这种不完整内容解析器可能截取出一个“看起来正确”的答案但模型实际并没有经历完整的推理过程。这也是一种被评测管道放大出来的假阳性。这三个层面单独拿出来都可能造成几个点的分数波动合在一起就能彻底扭转一个模型的评测排名。这篇文章要解决的问题就是如何把“答案正确”和“推理正确”分开看待并给出可操作的检测方法。如果你是做模型选型、Agent 应用开发或评测平台建设的技术同学这篇文章尤其适合你。你会知道为什么不能只盯 Accuracy 一个指标也会有一份可以直接改来用的检测脚本。2. LLM 推理评测与 Shortcut Hacking 的核心概念2.1 LLM 推理评测的基本流程不管评测集是数学题、科学问答还是逻辑题主流评测流程通常都分成四步准备评测样本每个样本包含输入、标准答案有时还包含答案选项。构造 Prompt把问题拼成指令提交给 LLM。模型返回答案文本评测框架通过正则表达式或规则解析出最终答案。将预测答案与标准答案比较统计 Accuracy 等指标。这个流程看起来简单但问题恰恰出现在第 3 步和第 4 步。评测者默认模型输出的答案“来自推理”却没有去验证答案背后的推理路径。2.2 Shortcut Hacking 的定义与边界Shortcut Hacking 是指在评测任务中模型获得了较高的正确率但并不是通过人类预期的知识运用和推理路径而是利用了数据分布、文本表面特征、选项格式、外部工具甚至评测代码漏洞。它有几个典型特征模型在原始评测集上表现很好。在语义等价但表面形式变化的样本上表现急剧下降。答案正确但中间推理步骤与题目真正所需的推理不一致。模型的输出分布与训练数据中的偏差高度相关。2.3 与相关概念的区分很多人把 Shortcut Hacking 和数据泄漏、过拟合混为一谈。这几个概念有关联但边界不同我用一张表说明。概念核心问题与 Shortcut Hacking 的区别数据泄漏测试集题目或答案出现在训练阶段数据中泄漏属于评测集管理问题Shortcut Hacking 不只依赖记忆也可以靠表面线索和格式过拟合模型在训练集上表现好在新数据上泛化差过拟合是模型训练问题Shortcut Hacking 可以在未见过的新题目上发生格式猜测模型根据输出格式猜测答案例如总是输出 A格式猜测是 Shortcut Hacking 的一种具体表现工具调用短路模型通过检索、API 或代码执行直接获取答案工具调用属于“外部路径”Shortcut Hacking 也可以完全发生在模型内部3. 前沿科学基准中常见的 Shortcut Hacking 模式我总结了 5 种在 Frontire Science Benchmarks 上最容易出现的捷径攻击模式。下面这几种模式不一定每一类都出现在同一个模型上但评测者最好全部检查一遍。3.1 标签与 Shortcut Hacking：LLM评测中隐藏的推理陷阱与检测方法
设想一个典型的评测场景某个大模型又在“前沿科学问答”榜单上刷新了纪录正确率大幅领先其他模型。你翻看答案理由物理、化学、生物题目都说得头头是道于是准备把“推理能力强”写进项目汇报。但在进一步复查时你把四个选项的位置随机换了一下重新跑了一遍测试集结果正确率突然掉了下来。出现这种情况通常说明模型并不是真正理解题目中的因果关系而是在利用选项位置、标签分布、题干措辞中的表面线索拿到“正确答案”。这种现象在 LLM 评测社区里有一个专门的称呼Shortcut Hacking捷径攻击。它和数据泄漏、过拟合不同更隐蔽也更危险。模型在完全合法的输入下通过一条训练数据中没有预设的“非预期路径”得到正确答案。对前沿科学基准Frontier Science Benchmarks来说这类问题尤其致命题目本身难度高、专业名词密集、选项设计复杂模型只要掌握少量统计关联就能伪装成“懂科学”。本文想给出一个清晰判断如果评测只统计最终答案的正确率不检查模型达到答案的路径那么所有基于“答案正确”得出的推理能力结论都是脆弱的。读完这篇文章你会理解 Shortcut Hacking 的常见模式并可以运行一套最小可用的 Python 分析脚本对现有的选择题推理基准做四类检查选项位置敏感性、答案文本泄漏、背景信息消融、训练语料重叠。1. 这篇文章真正要解决的问题先聊一个问题为什么前沿科学基准的评测分数经常不可信原因是三个层面叠加造成的。第一公开基准本身容易被污染。很多前沿科学题目来源于竞赛、大学教材、论文摘要和百科词条这些内容很早就进入了预训练语料。模型不一定“背下了答案”但它可能见过高度相似的题干和选项从而通过模糊记忆作答。评测者无法通过最终准确率区分“记忆”和“推理”。第二选项类任务天然存在格式捷径。一个单选题答案只可能是 A、B、C、D 中的一个。如果基准测试集的正确答案在标签上分布不均匀例如 A 占 60%而模型恰好更偏向选 A那么它不需要理解任何科学知识也能拿到明显高于随机水平的分数。这就是 Shortcut Hacking 里最常见的“标签偏差”。第三评测管道的答案提取环节并不安全。很多评测代码为了省事只从模型输出里提取第一个字母或最后一个数字。一旦模型输出的 reasoning 字段出现格式异常例如类似api error: 400 messages.2.content.0.signature: malformed encrypted reasoning这种不完整内容解析器可能截取出一个“看起来正确”的答案但模型实际并没有经历完整的推理过程。这也是一种被评测管道放大出来的假阳性。这三个层面单独拿出来都可能造成几个点的分数波动合在一起就能彻底扭转一个模型的评测排名。这篇文章要解决的问题就是如何把“答案正确”和“推理正确”分开看待并给出可操作的检测方法。如果你是做模型选型、Agent 应用开发或评测平台建设的技术同学这篇文章尤其适合你。你会知道为什么不能只盯 Accuracy 一个指标也会有一份可以直接改来用的检测脚本。2. LLM 推理评测与 Shortcut Hacking 的核心概念2.1 LLM 推理评测的基本流程不管评测集是数学题、科学问答还是逻辑题主流评测流程通常都分成四步准备评测样本每个样本包含输入、标准答案有时还包含答案选项。构造 Prompt把问题拼成指令提交给 LLM。模型返回答案文本评测框架通过正则表达式或规则解析出最终答案。将预测答案与标准答案比较统计 Accuracy 等指标。这个流程看起来简单但问题恰恰出现在第 3 步和第 4 步。评测者默认模型输出的答案“来自推理”却没有去验证答案背后的推理路径。2.2 Shortcut Hacking 的定义与边界Shortcut Hacking 是指在评测任务中模型获得了较高的正确率但并不是通过人类预期的知识运用和推理路径而是利用了数据分布、文本表面特征、选项格式、外部工具甚至评测代码漏洞。它有几个典型特征模型在原始评测集上表现很好。在语义等价但表面形式变化的样本上表现急剧下降。答案正确但中间推理步骤与题目真正所需的推理不一致。模型的输出分布与训练数据中的偏差高度相关。2.3 与相关概念的区分很多人把 Shortcut Hacking 和数据泄漏、过拟合混为一谈。这几个概念有关联但边界不同我用一张表说明。概念核心问题与 Shortcut Hacking 的区别数据泄漏测试集题目或答案出现在训练阶段数据中泄漏属于评测集管理问题Shortcut Hacking 不只依赖记忆也可以靠表面线索和格式过拟合模型在训练集上表现好在新数据上泛化差过拟合是模型训练问题Shortcut Hacking 可以在未见过的新题目上发生格式猜测模型根据输出格式猜测答案例如总是输出 A格式猜测是 Shortcut Hacking 的一种具体表现工具调用短路模型通过检索、API 或代码执行直接获取答案工具调用属于“外部路径”Shortcut Hacking 也可以完全发生在模型内部3. 前沿科学基准中常见的 Shortcut Hacking 模式我总结了 5 种在 Frontire Science Benchmarks 上最容易出现的捷径攻击模式。下面这几种模式不一定每一类都出现在同一个模型上但评测者最好全部检查一遍。3.1 标签与