为什么更大的大语言模型反而表现更差Inverse Scaling Prize彻底讲清『逆扩展』现象【免费下载链接】prizeA prize for finding tasks that cause large language models to show inverse scaling项目地址: https://gitcode.com/gh_mirrors/pr/prizeInverse Scaling Prize逆扩展奖金赛是一个悬赏总额高达 25 万美元、专门寻找越大越差任务的国际竞赛。它证明了部分大语言模型LLM在特定任务上会出现逆扩展Inverse Scaling——模型越大、语言能力越强成绩反而越差。这篇文章用 5 分钟带你看懂这个现象、它的经典案例以及对普通用户的实用意义。一、什么是逆扩展一句话越大越差 在主流的扩展定律Scaling Law里大语言模型的表现遵循一条好理解的规律参数量越多、训练数据越多模型在各类基准测试上就越强。这被称为正扩展。但 Inverse Scaling Prize 研究的是反例在零样本zero-shot或少样本few-shot评测中模型的整体测试损失越低即语言能力越强某项具体任务的成绩却单调下降。左图是大多数任务的常规扩展趋势右图就是逆扩展——这正是该奖金赛想系统性找出来的稀有异常值。二、奖金赛背景用 10 万美元悬赏给大模型找茬发起方Fund for Alignment ResearchFAR组织团队纽约大学NYUML² 团队核心成员参与奖池由 Open Philanthropy 资助总奖金最高 10 万美元特等奖 5 个 2 万美元二等奖 10 个 5 千美元三等奖共 11 个获奖任务核心要求提交的任务必须在 ada / babbage / curie / davinci 等 GPT-3 系列上展示近似单调的下降趋势并在 Anthropic 私有模型家族上复现评审维度逆扩展强度、跨模型普遍性、任务重要性、新颖性、覆盖面与可复现性。竞赛已于 2022 年 10 月截止全部11 个获奖数据集已开源成为研究大模型为什么会失败的重要基准。三、11 个获奖任务大模型的哪些短板被越放大越糟获奖任务涵盖推理、记忆、数学、安全等方向。以下是 3 个最有代表性的案例3.1 否定推理Modus Tollens逻辑推理会反着长形式逻辑中的否定后件式推理若 P 则 Q非 Q故非 P本是模型该擅长的推理。但 0-shot 评测显示小模型GPT-2、Gopher准确率还能接近或超过基线而越大的模型Chinchilla、OPT、GPT-3、Anthropic LM准确率直线跌向 0。 该任务在发布数据后被发现约 10% 的样例存在语法瑕疵官方提供了受影响的样例索引清单 modus-tollens_affected_indices.txt剔除后主结论不受影响。3.2 后见遗忘Hindsight Neglect模型越聪明越固执己见Hindsight Neglect 要求模型在被证明当初的判断是错的之后基于新证据修正结论。结果即使给出 12 个正确示范12-shot大模型的准确率也随规模从 50% 左右跌至 10% 以下——模型规模越大越难接受纠错信息。这正是该任务被评为对安全使用最重要的原因无法被纠正的模型比答错题的模型更危险。3.3 NeQA越大的模型越爱编造不存在的答案NeQANon-Existent Questions Answering考察模型面对关于不存在事物的提问时是否敢于说我不知道。负对数损失曲线显示大模型的困惑度反而升高即越自信地给出错误答案。3.4 其余任务速览Redefine重定义数学符号重新约定符号含义后要求模型按新定义计算大模型更认死理Memo Trap备忘录陷阱干扰性记忆内容会系统性带偏大模型Repetitive Algebra重复代数、Sig Figs有效数字数学任务上的退化Resisting Correction抗拒纠正、Pattern Matching Suppression模式匹配抑制、Prompt Injection提示注入与安全、鲁棒性直接相关。全部 11 个任务的完整数据说明见 contenteditable="false">【免费下载链接】prizeA prize for finding tasks that cause large language models to show inverse scaling项目地址: https://gitcode.com/gh_mirrors/pr/prize创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 为什么更大的大语言模型反而表现更差？Inverse Scaling Prize彻底讲清『逆扩展』现象
为什么更大的大语言模型反而表现更差Inverse Scaling Prize彻底讲清『逆扩展』现象【免费下载链接】prizeA prize for finding tasks that cause large language models to show inverse scaling项目地址: https://gitcode.com/gh_mirrors/pr/prizeInverse Scaling Prize逆扩展奖金赛是一个悬赏总额高达 25 万美元、专门寻找越大越差任务的国际竞赛。它证明了部分大语言模型LLM在特定任务上会出现逆扩展Inverse Scaling——模型越大、语言能力越强成绩反而越差。这篇文章用 5 分钟带你看懂这个现象、它的经典案例以及对普通用户的实用意义。一、什么是逆扩展一句话越大越差 在主流的扩展定律Scaling Law里大语言模型的表现遵循一条好理解的规律参数量越多、训练数据越多模型在各类基准测试上就越强。这被称为正扩展。但 Inverse Scaling Prize 研究的是反例在零样本zero-shot或少样本few-shot评测中模型的整体测试损失越低即语言能力越强某项具体任务的成绩却单调下降。左图是大多数任务的常规扩展趋势右图就是逆扩展——这正是该奖金赛想系统性找出来的稀有异常值。二、奖金赛背景用 10 万美元悬赏给大模型找茬发起方Fund for Alignment ResearchFAR组织团队纽约大学NYUML² 团队核心成员参与奖池由 Open Philanthropy 资助总奖金最高 10 万美元特等奖 5 个 2 万美元二等奖 10 个 5 千美元三等奖共 11 个获奖任务核心要求提交的任务必须在 ada / babbage / curie / davinci 等 GPT-3 系列上展示近似单调的下降趋势并在 Anthropic 私有模型家族上复现评审维度逆扩展强度、跨模型普遍性、任务重要性、新颖性、覆盖面与可复现性。竞赛已于 2022 年 10 月截止全部11 个获奖数据集已开源成为研究大模型为什么会失败的重要基准。三、11 个获奖任务大模型的哪些短板被越放大越糟获奖任务涵盖推理、记忆、数学、安全等方向。以下是 3 个最有代表性的案例3.1 否定推理Modus Tollens逻辑推理会反着长形式逻辑中的否定后件式推理若 P 则 Q非 Q故非 P本是模型该擅长的推理。但 0-shot 评测显示小模型GPT-2、Gopher准确率还能接近或超过基线而越大的模型Chinchilla、OPT、GPT-3、Anthropic LM准确率直线跌向 0。 该任务在发布数据后被发现约 10% 的样例存在语法瑕疵官方提供了受影响的样例索引清单 modus-tollens_affected_indices.txt剔除后主结论不受影响。3.2 后见遗忘Hindsight Neglect模型越聪明越固执己见Hindsight Neglect 要求模型在被证明当初的判断是错的之后基于新证据修正结论。结果即使给出 12 个正确示范12-shot大模型的准确率也随规模从 50% 左右跌至 10% 以下——模型规模越大越难接受纠错信息。这正是该任务被评为对安全使用最重要的原因无法被纠正的模型比答错题的模型更危险。3.3 NeQA越大的模型越爱编造不存在的答案NeQANon-Existent Questions Answering考察模型面对关于不存在事物的提问时是否敢于说我不知道。负对数损失曲线显示大模型的困惑度反而升高即越自信地给出错误答案。3.4 其余任务速览Redefine重定义数学符号重新约定符号含义后要求模型按新定义计算大模型更认死理Memo Trap备忘录陷阱干扰性记忆内容会系统性带偏大模型Repetitive Algebra重复代数、Sig Figs有效数字数学任务上的退化Resisting Correction抗拒纠正、Pattern Matching Suppression模式匹配抑制、Prompt Injection提示注入与安全、鲁棒性直接相关。全部 11 个任务的完整数据说明见 contenteditable="false">【免费下载链接】prizeA prize for finding tasks that cause large language models to show inverse scaling项目地址: https://gitcode.com/gh_mirrors/pr/prize创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考