第一阶段Kaplan Scaling Laws2020——越大越好的理论基础1.1 原始发现与核心结论2020年1月OpenAI的Jared Kaplan、Sam McCandlish、Tom Henighan等人发表了里程碑论文《Scaling Laws for Neural Language Models》 (arXiv.org) 。该研究系统性地探索了语言模型性能随模型参数量N、训练数据量D和计算量C的幂律关系提出了以下核心公式image其中L LL为损失函数E EE为不可约误差α ≈ 0.073 \alpha \approx 0.073α≈0.073β ≈ 0.095 \beta \approx 0.095β≈0.095。基于这些指数Kaplan等人推导出的关键结论是在固定计算预算下模型参数量应按C 0.73 C^{0.73}C0.73增长而训练Token数仅按C 0.27 C^{0.27}C0.27增长 (arXiv.org) 。这意味着当计算预算增加10倍时模型应该增大约5.4倍而数据只需增加约1.9倍。这一结论的直观推论是模型越大越好——对于任何给定的计算预算都应该优先将资源投入增大模型规模而非增加训练数据。paradigm_timeline图1LLM训练范式演变——从欠训练到计算最优再到推理最优。数据点大小对应模型参数量红线为Chinchilla最优比20:1。这一发现对GPT-32020年5月发布的训练决策产生了直接影响。GPT-3拥有1750亿参数但仅在约3000亿Token上训练Token/参数比仅为1.7:1 (博客园) 。按照Chinchilla后来的标准GPT-3的训练数据量至少应该达到约3.5万亿Token——是它实际使用的10倍以上。Gopher2021年12月DeepMind走得更远2800亿参数仅训练3000亿TokenToken/参数比低至1.1:1 (arXiv.org) 。1.2 技术缺陷的根源Diogo文章的核心技术洞察是正确的——Kaplan et al.的实验设计存在系统性缺陷 (Complete Skeptic) 。具体来说第一固定训练Token数。 Kaplan等人对所有规模的模型使用了相同的约1300亿Token训练量。这导致了一个明显的悖论一个1亿参数的小模型训练1300亿Token相当于每个参数看到了1300个Token而一个1000亿参数的大模型同样只训练1300亿Token每个参数仅看到1.3个Token (Complete Skeptic) 。小模型实际上被过度训练了而大模型则被严重欠训练。在固定的Token预算下更大的模型永远无法充分展示其容量优势。第二学习率衰减策略的误导。 Kaplan等人采用了cosine学习率衰减在训练接近目标Token数时学习率逐渐降至零。这意味着当训练结束时学习已经停止——即使模型仍有改进空间 (Complete Skeptic) 。这种策略人为制造了训练饱和的假象如果所有模型都在相同的Token数上停止学习那么无论模型多大看起来都在同一时间点达到了性能平台。Chinchilla后来证明如果使用恒定的学习率并增加训练Token数大模型会持续改进性能差距会显著拉大 (arXiv.org) 。1.3 “Bug的实际影响范围将Kaplan Scaling Laws的缺陷称为bug在技术上是恰当的但其影响范围需要精确界定。GPT-3的决策2020年5月和Gopher的决策2021年12月确实受到了这一bug的影响 (博客园) 。然而值得注意的是即使在Kaplan et al.的论文中作者也明确指出他们的结论基于给定的最大Token数”并承认这不适用于真正的无限数据极限 (Complete Skeptic) 。换言之原始论文的局限性在其发表时就已被部分认识到只是行业在当时缺乏更好的替代方案。模型 发布时间 参数量 训练Token数 Token/参数比 与Chinchilla最优比的偏差GPT-3 2020-05 175B 300B 1.7:1 欠训练约 12× (博客园)Gopher 2021-12 280B 300B 1.1:1 欠训练约 18× (arXiv.org)Chinchilla 2022-03 70B 1.4T 20:1 ✓ 计算最优 (arXiv.org)LLaMA-65B 2023-02 65B 1.4T 21.5:1 接近最优 (Michael Brenndoerfer)LLaMA-2-70B 2023-07 70B 2T 28.6:1 略超最优 (稀土掘金)GPT-4 2023-03 ~1.8T (MoE) 未公开 N/A MoE架构 (Exploding Topics)LLaMA-3-8B 2024-04 8B 15T 1875:1 推理最优 (Life Architect)Gemma-7B 2024-06 7B 6T 857:1 推理最优 (arXiv.org)表1关键模型的训练配置对比。Chinchilla2022后行业迅速从欠训练转向计算最优乃至推理最优。第二阶段Chinchilla2022——纠正与范式转向2.1 Chinchilla的核心发现2022年3月DeepMind的Jordan Hoffmann、Sebastian Borgeaud等人发表了《Training Compute-Optimal Large Language Models》通常被称为Chinchilla论文 (arXiv.org) 。这项研究训练了超过400个模型参数量从7000万到160亿系统性地探索了模型规模与训练数据量的最优分配。Chinchilla的核心发现与Kaplan Scaling Laws截然不同在固定计算预算下模型参数量与训练Token数应按大致相等的比例增长——即N o p t ∝ C 0.5 N_{opt} \propto C^{0.5}Nopt​∝C0.5和D o p t ∝ C 0.5 D_{opt} \propto C^{0.5}Dopt​∝C0.5(arXiv.org) 。这导出了著名的20:1 Token/参数比法则每个模型参数应约对应20个训练Token。基于这一原则Chinchilla-70B70亿参数1.4万亿Token在与Gopher-280B280亿参数3000亿Token相近的计算预算下性能全面超越了后者 (arXiv.org) 。paradigm_timeline图22020-2025年LLM训练范式演变关键里程碑。三个阶段清晰可辨Kaplan时代越大越好、Chinchilla时代20:1最优、推理时计算时代test-time compute。2.2 Chinchilla对Kaplan的修正机制Chinchilla之所以能够纠正Kaplan的结论关键在于其实验设计解决了前述两个技术缺陷 (Complete Skeptic) 第一解除固定Token数的束缚。 Chinchilla为不同规模的模型训练了不同数量的Token——小模型训练较少Token大模型训练更多Token。这使得每个规模的模型都能在与其容量匹配的充分训练状态下进行评估从而真正揭示给定计算预算下最优的模型/数据分配是什么。第二恒定的学习率调度。 Chinchilla使用了不强制在固定Token数处归零的学习率策略。这使得模型能够持续学习直到真正达到收敛——而非被人为地提前截断 (Complete Skeptic) 。DeepMind的研究人员后来指出Kaplan et al.如果将其最大规模模型训练到更多Token“性能曲线将在达到Scaling Law的Pareto前沿之前就被截断” (arXiv.org) 。2.3 学术界的快速验证Chinchilla的结论在发表后迅速得到了独立验证。2024年4月Epoch AI的Besiroglu等人发表了对Chinchilla的复制研究发现最优Token/参数比约为25.6:1——与Chinchilla的20:1高度一致 (arXiv.org) 。同年6月Microsoft Research和MIT的Pearce Song发表论文《Reconciling Kaplan and Chinchilla Scaling Laws》指出Kaplan与Chinchilla的差异主要源于参数计数方式的不同Kaplan只计算非嵌入参数且在小规模上拟合 (arXiv.org) 。2024年Porian等人进一步证实在纠正了最后一层FLOPs、warmup调度和规模相关超参数后Kaplan和Chinchilla的预测实际上相当接近 (arXiv.org) 。第三阶段行业全面转向2022-20243.1 LLaMA系列Chinchilla原则的首个大规模实践Meta的LLaMA系列是Chinchilla Scaling Law从理论走向实践的最重要案例。2023年2月发布的LLaMA-65B拥有650亿参数训练了1.4万亿TokenToken/参数比为21.5:1——几乎完美遵循Chinchilla的20:1法则 (Michael Brenndoerfer) 。这一决策的底层逻辑非常清晰与其像GPT-3那样用1750亿参数训练3000亿Token不如用更小的模型训练更多数据在达到相似性能的同时大幅降低推理成本。LLaMA-22023年7月进一步将这一原则发扬光大。LLaMA-2-70B训练了2万亿TokenToken/参数比达到28.6:1 (稀土掘金) 。Meta在LLaMA-2的技术报告中明确将Chinchilla Scaling Law作为训练策略的核心理论依据 (Michael Brenndoerfer) 。到了2024年4月的LLaMA-3Meta做出了更加激进的决策LLaMA-3-8B仅在80亿参数上训练了15万亿TokenToken/参数比高达1875:1 (Life Architect) 。这一配置远超Chinchilla的计算最优比进入了推理最优inference-optimal区域——以更高的训练计算成本换取更低的推理成本和更好的部署性能。年份 模型/研究 核心创新 Token/参数比 范式标签2020 Kaplan et al. 首个系统Scaling Law 1.7:1 (GPT-3) “越大越好”2022 Chinchilla 20:1最优比 20:1 计算最优2023 LLaMA-65B 开源Chinchilla实践 21.5:1 计算最优2023 GPT-4 8×220B MoE N/A 稀疏激活2024 LLaMA-3-8B 15T Token超量训练 1875:1 推理最优2024 Sardana Frankle 推理成本纳入Scaling Law N/A 推理最优理论2024 Snell et al. Test-time compute scaling N/A 推理时计算2024 OpenAI o1 推理模型/长CoT N/A 推理时计算2025 DeepSeek-R1 纯RL推理 N/A 推理时计算表22020-2025年Scaling Law关键演变节点。从欠训练到计算最优再到推理最优和推理时计算行业在四年间经历了三次范式转换。3.2 GPT-4的MoE架构另一条效率之路OpenAI在GPT-42023年3月上的选择同样印证了这一转向趋势尽管方式不同。据George Hotz、Soumith ChintalaPyTorch联合创始人等多方消息来源GPT-4采用了8×220B参数的Mixture of ExpertsMoE架构——总参数量约1.76万亿但每次推理仅激活约220-440亿参数 (Exploding Topics) 。MoE的本质是一种稀疏激活策略用巨大的总参数量存储知识但只在推理时调用其中一小部分从而在保持强大能力的同时控制推理成本。这一设计与Chinchilla的小模型多数据路线殊途同归——都是在追求给定性能目标下的最低推理成本。GPT-4没有走Chinchilla的密集小模型路线而是走了MoE的稀疏大模型路线但底层目标是一致的不再盲目追求密集参数规模而是通过架构创新实现效率优化。3.3 Google的Gemma与推理最优Scaling LawGoogle的Gemma系列同样遵循了这一趋势。Gemma-7B2024年训练了6万亿TokenToken/参数比达到857:1 (arXiv.org) 。更值得注意的是2024年1月Sardana和Frankle来自MosaicML/DBRX团队发表的论文《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》 (raw.githubusercontent.com) 。该研究正式将推理成本纳入Scaling Law框架证明了在高推理需求场景下训练比Chinchilla建议的更小模型、更多Token才是总成本最优的。他们的分析显示对于一个7B-Chinchilla质量的模型如果推理需求达到10 11 10^{11}1011Token最优策略是训练一个6B参数模型、使用1.18倍的数据量可将总FLOPs降低显著比例 (raw.githubusercontent.com) 。第四阶段Test-Time Compute新范式2024-20254.1 从训练时计算到推理时计算2024年9月OpenAI发布了o1模型标志着AI行业进入了Scaling Law的第四个阶段——推理时计算test-time compute / inference-time scaling (arXiv.org) 。o1的核心创新在于不再仅仅通过扩大模型规模或增加训练数据来提升性能而是让模型在回答问题时思考更长时间——生成长链推理Chain-of-ThoughtCoT进行多步验证和自我修正 (arXiv.org) 。这一范式的理论基础来自DeepMindGoogle2024年8月的论文《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》 (arXiv.org) 。作者Charlie Snell、Jaehoon Lee等人系统性地证明通过最优地分配推理时计算如多次采样、逐步验证、束搜索一个较小的模型可以匹敌比它大14倍的模型 (Github) 。具体而言对于简单问题修订策略模型迭代改进自己的答案最有效对于复杂问题搜索策略模型探索多条推理路径并用验证器选择最佳路径最有效 (EulerFold) 。4.2 o1、o3与DeepSeek-R1推理模型的工程实践OpenAI o1在AIME 2024数学竞赛上的表现清晰地展示了推理时计算的威力GPT-4o平均得分12%o1单样本贪婪解码达到74%o1配合64样本多数投票达到83%而配合1000样本重排序更是达到93% (arXiv.org) 。这意味着通过在推理时投入更多计算同一基础模型的性能可以被解锁到远超其训练规模预期的水平。2025年1月DeepSeek发布了R1模型以开源权重的方式复制并超越了o1的推理能力 (introl.com) 。R1的核心创新在于纯强化学习RL训练不依赖人类标注的推理轨迹仅通过可验证奖励如数学证明检查器、代码执行器的反馈信号让模型自发地发展出长链推理能力 (introl.com) 。R1在训练过程中自发出现了可识别的推理策略——自我纠正“Wait, that can’t be right because…”、假设检验“Let me try a different approach…”、验证“I can check this by substituting back…” (How Language Works: A Kid’s Guide to the Science of Words) 。2025年4月发布的o3/o4-mini进一步将推理时计算推向新高度。o3提供了可调的计算层级低/中/高在ARC-AGI基准上低层级得分75.7%高层级达到87.5%——后者是AI系统首次在该基准上突破85% (How Language Works: A Kid’s Guide to the Science of Words) 。这证明了推理时计算不仅可以提升性能还可以按需分配——用户可以根据任务的复杂度和预算选择适当的思考深度。4.3 新范式的本质 Scaling Law并未终结而是扩展维度需要特别强调的是test-time compute的兴起并不意味着预训练Scaling Law的终结。相反它扩展了Scaling Law的维度——从单一的训练时计算train-time compute扩展到了训练时推理时的联合优化 (Github) 。OpenAI研究员Noam Brown在NeurIPS 2024上给出了最清晰的阐述他在扑克AI研究中发现“让模型在一手牌中思考20秒获得的提升相当于将模型规模和训练扩大100,000倍” (Github) 。Jensen Huang在GTC 2025上也呼应了这一观点称由于agentic AI和推理的需求我们现在需要的计算量轻松是去年同期的100倍以上 (Github) 。范式阶段 时间范围 核心策略 代表模型/研究 关键指标Kaplan Scaling 2020-2022 优先扩大参数 GPT-3, Gopher Token/参数比 1-2:1Chinchilla-optimal 2022-2024 参数与数据均衡增长 Chinchilla, LLaMA-1/2 Token/参数比 ~20:1Inference-optimal 2024-至今 小模型超量数据 LLaMA-3, Gemma Token/参数比 100-2000:1Test-time compute 2024-至今 推理时思考更久 o1, o3, DeepSeek-R1 CoT长度/推理Token数表3Scaling Law四个范式阶段的核心特征对比。行业从单一的训练规模维度逐步扩展到训练效率和推理计算多个维度。Diogo文章的本质一份迟到的历史复盘5.1 技术内容的准确性Diogo的《Scaling Laws, Honestly》在技术层面是准确的 (Complete Skeptic) 。Kaplan et al. (2020)确实存在所述的技术缺陷Chinchilla (2022)确实纠正了这些缺陷行业确实在2020-2022年间训练了过大、数据过少的模型。Diogo本人也坦诚承认自己当时也在OpenAI做LLM优化同样错过了这个bug (Complete Skeptic) 。5.2 “历史回顾而非新发现”然而这篇文章的核心问题在于时态和语境。Chinchilla论文发表于2022年3月距今已超过四年 (arXiv.org) 。LLaMA-65B2023年2月、LLaMA-3-8B2024年4月、o12024年9月、DeepSeek-R12025年1月——行业已经经历了至少三轮重大的训练策略迭代。Diogo文章所描述的bug在Chinchilla发表后就被学术界广泛认知并在随后的几年里被持续研究和完善 (arXiv.org) 。更准确的定位是Diogo的文章是一份面向非技术读者的历史科普用通俗易懂的语言解释了Kaplan与Chinchilla Scaling Law差异的技术根源。它有价值——对于刚进入AI领域、不了解这段历史的人来说这是一篇很好的入门材料。但它不应该被包装成新发现或独家揭露。5.3 中文媒体的叙事放大中文科技自媒体如新智元、机器之心等在转载Diogo文章时往往采用了高度夸张的标题——例如OpenAI塌房一个bug烧掉万亿算力、Scaling Law崩塌整个行业被误导五年等。这些标题存在多重误导时间压缩。 将2020-2022年约两年的影响窗口夸大为五年忽略了Chinchilla2022后行业已迅速转向的事实。因果简化。 将一个bug描述为导致万亿算力浪费的唯一原因忽略了即使在没有bug的情况下早期模型训练也受限于当时的数据可用性、硬件能力和研究认知水平。叙事时态错误。 将一份2026年的历史回顾当作2026年的新闻来报道给读者造成这是刚刚发生的重大事件的错觉。结论Scaling Law的演变是一部渐进史而非突变史回顾2020年至2025年的完整时间线Scaling Law的演变呈现出清晰的渐进特征2020年Kaplan et al.给出了第一个系统性的Scaling Law框架其bug在当时的技术条件下是难以避免的——在没有大规模实验验证的情况下固定Token数和学习率衰减是合理的工程选择 (Complete Skeptic) 。