OpenAI 最重要的一篇论文有个 bug整个 AI 行业按错误配方烧了两年算力2020 年 1 月OpenAI 发了一篇论文叫《Scaling Laws for Neural Language Models》。这篇论文定义了过去六年 AI 行业的游戏规则模型该多大、数据该多少、算力怎么分配。这篇论文有个 bug。整个行业按它给的错误配方训练了一批过大、数据不足的模型烧掉的天文数字算力再也回不来了。先说结论2026 年 7 月 4 日前 OpenAI 研究者 Diogo 在 Complete Skeptic 博客发了一篇文章标题叫《Scaling Laws, Honestly》。文章的核心主张只有一句OpenAI 原始 scaling laws 和 DeepMind Chinchilla scaling laws 之间的巨大差异根源不是什么参数计数方式不同——而是原始论文有一个 bug。这个 bug 由三个步骤构成用固定数据量训练所有模型学习率衰减到零让性能看起来已饱和声称学习率调度不重要三步叠加得出了一个错误结论模型应该更大、数据可以更少。而正确的结论是模型应该更小、数据应该更多。GPT-3 就是按错误结论训练的——它太大数据太少。什么是 Scaling Laws为什么它重要先用一个比喻。你要开一家面包店。烤箱有多种大小模型规模面粉有多种用量数据量电费是有限的算力。你想用最少的电费烤出最好吃的面包最低 loss。Scaling Laws 就是这张配方表——它告诉你给定电费预算烤箱和面粉该怎么配比才能烤出最好吃的面包。OpenAI 2020 年的配方表说烤箱越大越好面粉不太重要。大烤箱用相对少的面粉就能出好面包。DeepMind 2022 年的配方表Chinchilla说烤箱和面粉要成比例增长。大烤箱必须配大量面粉。两个配方表给出了完全不同的建议。行业里管这个差异叫Kaplan vs Chinchilla 之谜Kaplan 是 OpenAI 论文的第一作者。主流解释是两者只是参数计数方式不同都对只是角度不同。Diogo 的文章说不是 Kaplan 错了。有个 bug。Bug 三步曲第一步所有模型用同一份面粉Kaplan 论文里不管模型是 1 亿参数还是 1750 亿参数全都训练到大约 1300 亿 token 就停。这就像用 1 升烤箱和 100 升烤箱都只放 500 克面粉。小烤箱面粉相对过剩大烤箱面粉严重不足——但你看不出大烤箱缺面粉因为它训练完了。Chinchilla 论文直接指出了这个问题原始论文use a fixed number of training tokens and learning rate schedule for all models。第二步烤箱越到最后越不开火更阴的是学习率调度。Kaplan 用了余弦衰减——训练接近终点时学习率平滑降到零。效果是什么模型在接近 1300 亿 token 时学习速度越来越慢最后完全停止学习。性能曲线自然趋于平缓看起来像训练已经饱和再加数据也没用。不是模型不需要更多数据是你自己把学习的油门松开了然后说看开不动了。Diogo 在文章里画了张图如果训练曲线在到达真正的 scaling 前沿之前就被学习率衰减截断你量出来的前沿其实是假的。第三步声称油门不重要最让 Diogo 难以释怀的是第三步。Kaplan 论文里有一句话结果largely independent of learning rate schedule对学习率调度基本不敏感。Diogo 指出在给定最大 token 数的前提下这句话完全正确。但 scaling laws 要建模的是真正无限数据极限——在那个语境下学习率调度至关重要。这句话就像说速度对开车不影响——前提是你已经把油门松到底了。更微妙的是Diogo 自己当时也在 OpenAI 做 LLM 优化。他说“学习率调度看起来太明显是个重要超参数了以至于让人觉得这是有意的设置。”——正因为太明显反而没人质疑。后果GPT-3 太大了三个步骤叠加Kaplan 得出的配方是大模型、少数据。Chinchilla 修正后给出的配方是小模型、多数据。差距有多大看 Chinchilla 的对照表GPT-3Kaplan 配方Chinchilla修正配方模型参数175B70B不到一半训练 token300B1.4T超过 4 倍GPT-3 既是训练不足数据太少又是过大参数浪费。如果按 Chinchilla 配方同样算力可以训出更小、更好、更便宜的模型。这不是小事。GPT-3 之后整个行业跟着 Kaplan 配方走了一年多。每一个按这个配方训练的模型都在烧冤枉钱。Meta 的 OPT、微软的 Turing-NLG、EleutherAI 的 GPT-Neo……一批模型全部按大模型少数据训练性能都不如预期。直到 2022 年 Chinchilla 出来行业才慢慢转向。但已经烧掉的算力和已经发布的过大模型改不回来了。为什么这个 bug 没被发现Diogo 自己也错过——他当时在 OpenAI 内部都没想到。他给了三个原因第一三步叠加才出问题。单看任何一步都有合理解释固定数据量是为了控制变量余弦衰减是标准做法学习率不重要在那个前提下是对的。三步合起来才制造了数据不重要的假象。第二结果看起来对。Kaplan 论文的拟合曲线很漂亮预测和实测吻合。没人怀疑一个拟合得好的定律会是错的——因为它的确在自己的实验范围内自洽只是这个范围被 bug 限制住了。第三行业没动力质疑。“大模型少数据对大公司有利——参数规模是能拿来发论文、拿融资的指标。数据量不性感。质疑这个结论等于说你们烧了冤枉钱”。评论区扔了一颗更大的炸弹文章本身已经够劲爆但评论区更狠。一位叫 Adam Wasserman 的研究者指出Chinchilla 也有一个没说的限制——它是英语 scaling laws。他做了预注册实验OSF SJ48B 和 CN75D可复现同样的 1.25 亿参数模型同样的算力只换训练语言法语约 1.97 亿 token 就达到语法能力一致性探测 100% 正确率英语超过 30 亿 token 仍处于随机水平法语和英语的涌现阈值差距超过 15 倍法语训练效率比英语高 50-100 倍整个实验成本仅65 美元为什么差距这么大Wasserman 的解释是英语的形态学贫乏——很多其他语言用词形变化表达的信息英语要靠上下文推断。所以英语模型必须看更多数据才能学会同样的东西。英语是测试的 12 种语言里效率最低的之一。这意味着 Chinchilla 给出的每个参数约 20 token的最优比例其实是英语的最优比例。对于形态学更丰富的语言法语、土耳其语、芬兰语……最优 token 数可能低得多。“Scaling laws, honestly, are English scaling laws.”这个评论比正文还颠覆。如果属实意味着非英语大模型可能普遍训练过度非英语市场的模型成本可以大幅降低整个scaling叙事建立在一个语言特例上这件事的三个教训教训一拟合好不等于对Kaplan 的曲线拟合得非常漂亮。但拟合好只能证明在你的实验范围内自洽不能证明你的实验范围没被 bug 限制。当一个漂亮的结果来自一个有 bug 的实验流程时它越漂亮越危险——因为没人会怀疑漂亮的东西。教训二默认设置是隐含的假设固定数据量、余弦衰减——这些都是标准做法。但标准不等于无害。每一个默认设置都是一个隐含假设假设这个设置不影响结论。Kaplan 假设学习率调度不影响 scaling laws。这个假设没被验证就直接写进了实验流程。三年后才发现假设错了。在 AI 研究里最危险的 bug 不是代码错误是看起来太合理以至于没人质疑的隐含假设。教训三对定律保持警惕Scaling laws 被叫做定律laws。但物理学定律经得起百年检验AI 的定律只经得起一次复现实验。Kaplan 是错的。Chinchilla 可能也只是英语的。下一个修正版本可能也有自己的盲区。这不是在说 scaling laws 没用——它极其有用。但它是有条件的经验规律不是无条件的物理定律。把它当定律用就会重蹈大模型少数据的覆辙。中文世界的特殊意义这件事对中国 AI 圈有特殊含义。中文形态学比英语丰富得多——一个字可以是词一个词可以变很多形态“看”“看见”“看得见”“看不见”“看得见看不见”。如果 Wasserman 的结论成立中文的 scaling 最优比例可能也和英语不同。但几乎所有中文大模型的训练配方都是参照英语 scaling laws 制定的。这是否意味着中文模型也普遍训练过度这是一个值得认真研究的问题——而且按照 Wasserman 的实验验证成本可能只需要几十美元。最后Diogo 在文章结尾很克制“每个大型 AI 实验室早就知道这件事。给未来非大型实验室研究者的建议别在这个问题上浪费时间了Chinchilla 是对的。”“希望能有人修改原始 scaling laws 论文加一条关于 bug 的说明。”没有声讨没有渲染。就是一个曾在 OpenAI 内部的人把一个大家都心照不宣的事实写出来。但这件事的分量不该被低估。过去六年 AI 行业最重要的一篇论文有一个三步构成的 bug导致整个行业按错误配方烧了至少两年的算力。而修正版本也只对一种语言精确。Scaling laws 是有用的。但honestly这个副标题提醒我们有用和正确是两回事。原文https://www.completeskeptic.com/p/scaling-laws-honestly评论区 Wasserman 的预注册实验OSF SJ48B / CN75D存档 doi.org/10.5281/zenodo.19423151Kaplan et al. 原始论文arxiv.org/abs/2001.08361Chinchilla 论文arxiv.org/abs/2203.15556本文是对 Complete Skeptic 博客 2026 年 7 月 4 日文章的解读与扩展。核心事实来自原文及评论区延伸推论为个人观点。