涌现Emergent Abilities涌现能力模型参数量、训练数据、算力扩大到某个临界阈值之后小模型几乎完全不具备的高级能力突然解锁能力提升不是平缓线性上涨而是阶梯式跃迁类似水到 0℃结冰、100℃沸腾的相变现象标准学术定义Jason Wei,2022某项能力在小规模模型上接近随机猜测规模跨过临界点后性能骤然飙升这种跃升无法依靠小模型的表现简单外推预测关键特征非线性跃迁能力在特定规模区间突然出现变好不可预测性难以从小模型表现外推预测趋势任务泛化通常表现为通用能力提升而非特定任务提升举例预训练 Loss ≈ 每公里耗时下游推理能力 ≈ 完成马拉松的能力随着身体素质变强模型变大每公里耗时稳步慢慢缩短平滑连续下降但是能跑完马拉松这个能力存在门槛。体能没到阈值前根本跑不完达标之后突然可以完成每公里耗时持续平稳改善对应 Loss 平滑下降马拉松能否完赛是突变能力对应下游任务涌现最典型涌现出来的能力上下文学习In-Context Learning不给模型微调只在 prompt 里丢几个示例它就能学会新任务小模型基本做不到模式匹配容量大模型具有足够的参数记忆常见任务模式注意力机制进化可同时处理提示和问题的更复杂注意力模式潜在空间结构化高维空间形成可插拔的任务子空间多步逻辑推理 / 思维链 CoT多步数学应用题、因果推导。小模型只会直接瞎猜大模型学会分步思考训练数据隐含逻辑大规模数据包含数学推导、解题过程等文本参数矩阵的符号操作特定参数子空间模拟符号推理过程注意力窗口扩展长距离依赖捕获能力的质变零样本指令跟随只用自然语言下达陌生指令不用示例就能执行代码生成、复杂文本创作、跨语言翻译、常识归纳多任务蒸馏效应海量指令数据中的隐式模式学习元学习机制形成在预训练中无意识地学习了学习如何遵循指令世界知识整合将事实知识与任务要求动态结合的能力Scaling Law vs 涌现Scaling Law规模定律预训练损失随参数、算力损失曲线呈现【平滑、连续下降】的形态是底层持续变好的基础规律涌现是下游任务指标上看到的突变现象底层损失在稳步下降模型规模从小到大对应的底层损失在稳步下降但特定任务上 “肉眼看突然开窍”其他什么叫底层损失在稳步下降Jason Wei 原始实验设置研究者训练了一系列从小到大不同尺寸的模型100M、300M、1B、7B、13B、70B……对每一个训练完成的模型做两件事拿到该模型最终收敛的预训练验证 Loss底层损失在下游任务GSM8K 数学、MMLU、多步推理测准确率观测到现象随着模型规模变大预训练 Loss 是平滑、持续一点点往下走线性稳步改善但数学推理准确率长期卡在随机猜测水平直到跨过某个模型规模准确率猛地跳升它不是同一个模型一边推理一边 loss 下降然后突然开窍是一排大小不同、训练完成的静态模型横向对比什么是预训练验证 Loss大模型预训练干的事给定上文预测下一个 Token训练集 Loss模型在训练数据上算出来的损失用来反向传播更新权重验证集Validation专门拆分出来、不参与权重更新的一批文本数据训练过程中每隔一段时间让模型跑一遍验证集数据算出损失就是验证 LossLoss 数值越小 模型对文本的规律掌握得越好预测下一个词越准什么叫最终收敛的预训练验证 Loss模型不是训练一下就结束而是持续多轮迭代一开始验证 Loss 很高持续训练验证 Loss 不断下降训练后期继续再多训几千上万步验证 Loss 几乎不再变小收敛。此时模型已经学不出更多东西进入平稳状态最终 Loss就是最终收敛的预训练验证 Loss涌现假象 和 学界关键争议现在研究已经证明一部分 “涌现假象来自评估指标本身”如果指标是「完全答对才算分Exact Match」这种离散阈值打分平滑的内部概率提升会被渲染成 “突然从不会变会”如果换成连续型指标预测概率、编辑距离曲线会变得平缓陡峭跃迁消失但主流共识即便剔除指标滤镜复杂多步推理这类任务依然存在明显的非线性加速不是单纯视觉错觉为什么会产生涌现几种主流假说电路假说可解释性方向Transformer 内部会自发形成解决子问题的 “计算子电路”简单任务只需要少量电路复杂推理需要一套完整电路协同只有模型足够大全套电路才能同时训练成型容量假说小模型存储空间有限只记住表层词语统计规模足够大时才有容量捕捉长距离关联、因果规律、世界知识从 “词语接龙” 升级为理解规律压缩视角预训练目标是预测下一个 token本质等价于压缩海量文本想要高效压缩模型必须自主学习现实世界的内在逻辑。容量不足时只能浅层压缩到达临界点后被迫学到高阶抽象规则常见误区误区 1只要参数越大一定会涌现更强能力事实参数、数据、算力需要同步配比Chinchilla 定律只堆参数、数据不够不会出现理想涌现误区 2存在一个固定阈值比如必须≥70B 才会涌现推理事实阈值不固定取决于数据质量、架构、预训练目标、任务难度高质量数据下更小模型也能观察到一定推理能力误区 3涌现 模型产生意识、拥有真正理解事实涌现只是统计层面能力跃迁不代表具备主观意识。模型依然是基于学习到的模式做概率生成依然会产生幻觉意义正因涌现现象才有 GPT-3、Llama 系列这条路线依靠持续扩大模型规模解锁全新能力涌现也是 RAG、SelfCheckGPT 这类方案存在的背景大模型虽然涌现推理但依然会幻觉需要外部手段约束规模策略重要能力可能需要突破特定规模阈值但需平衡计算成本与性能收益评估体系建立更精细的能力增长监测指标开发针对涌现能力的专项测试集