知识蒸馏从软标签到大模型能力迁移前言1. 知识蒸馏解决什么问题2. 硬标签、软标签与暗知识3. 蒸馏训练的核心原理4. 大语言模型中的蒸馏方式5. 可靠蒸馏的条件与边界总结前言大模型能力强但参数量、显存占用和推理成本也很高。一个在服务器上运行良好的模型未必适合直接部署到手机、浏览器、车载设备或资源有限的企业服务中。如果只是简单减少网络层数或缩小参数规模模型的准确率和泛化能力又往往会明显下降。**知识蒸馏Knowledge Distillation**提供了另一条路线让能力更强的模型充当“老师”再训练体量更小的“学生”去模仿老师的判断。学生不仅可以学习最终答案还可以学习老师对不同候选答案的偏好从而在更低的部署成本下尽量保留原模型的能力。2025 年围绕 DeepSeek 与 OpenAI 的讨论让“蒸馏”这个术语走出论文进入公众视野。需要先划清边界蒸馏本身是一类成熟的模型压缩与能力迁移技术训练数据是否得到授权、调用方式是否符合服务条款则属于数据来源与合规问题二者不能混为一谈。网络上常见的“约 600 万美元训练成本”也通常指特定训练阶段公开估算的计算成本不等于模型研发的全部投入。理解知识蒸馏关键是弄清硬标签、软标签、温度参数和蒸馏损失之间的关系同时分辨经典的概率分布蒸馏与大语言模型中常见的文本回答蒸馏。1. 知识蒸馏解决什么问题提高参数规模、训练数据量和计算量通常能够增强模型能力但也会带来更高的工程成本推理延迟更高一次前向计算需要读取和处理更多参数。显存占用更大模型权重、中间激活和 KV Cache 都需要空间。服务成本更高相同请求量需要更多或更昂贵的硬件。端侧部署更难移动设备和嵌入式设备很难承载过大的模型。最直接的压缩办法是重新训练一个小模型但小模型只看人工标注数据时获得的信息非常有限。训练样本只告诉它“正确答案是什么”却没有告诉它“老师对这个答案有多确定”“其他答案为什么不合适”。知识蒸馏要补充的正是这部分信息。知识蒸馏是一种模型压缩与能力迁移方法使用高容量的教师模型产生训练信号让较小的学生模型学习教师模型的输出分布、内部表示或生成行为。蒸馏过程包含三个核心对象对象含义典型特点教师模型 Teacher提供学习目标的强模型参数多、效果好、推理成本高学生模型 Student接收蒸馏训练的目标模型参数少、速度快、便于部署蒸馏过程 Distillation将教师能力迁移给学生的训练过程使用概率、特征或生成结果作为监督信号可以把普通监督学习理解成“只给新人一份带标准答案的练习册”而蒸馏更像“让经验丰富的老师展示自己对每个选项的判断”。就像培养厨师时菜谱只能给出固定步骤现场示范却还能呈现火候、食材状态和调味幅度。学生最终仍要独立完成任务但训练时获得的信息比单一答案更丰富。这里的“迁移”并不是复制教师模型的全部参数。教师与学生可以采用不同结构学生也不需要容纳教师掌握的全部知识。它学习的是由训练数据、学生容量和蒸馏目标共同限定的一部分行为。知识蒸馏也不能与量化、剪枝混为一谈。它们都能降低模型成本但作用对象并不相同方法核心做法主要收益知识蒸馏让学生模型模仿教师模型将能力迁移到更小的模型量化使用更低精度表示权重和计算降低模型体积、显存和计算成本剪枝删除不重要的权重、通道或网络层减少冗余参数与计算低秩分解使用更小的矩阵近似原矩阵减少参数量和矩阵乘法开销这些方法可以组合使用。例如先把大模型的能力蒸馏到小模型再对学生模型做 INT8 或 INT4 量化。蒸馏决定学生“学习什么”量化则决定模型参数“如何用更少空间存储和计算”。2. 硬标签、软标签与暗知识假设一个图像分类任务包含猫、狗、老虎和鸡四个类别。人工标注认为图片里是猫硬标签通常表示成 one-hot 向量猫 狗 老虎 鸡 1.0 0.0 0.0 0.0**硬标签Hard Label**表达得非常明确猫是正确答案其余类别都错。但它把错误选项一视同仁没有保留类别之间的关系。对于一张家猫图片“老虎”通常比“鸡”更像合理候选项这种相似性无法从 one-hot 标签中看出来。教师模型对同一张图片可能给出下面的概率分布猫 狗 老虎 鸡 0.80 0.10 0.09 0.01这就是软标签Soft Target。它不仅说明“猫最可能”还表达了教师对当前判断的置信度以及其他类别与正确类别之间的相对关系。对比项硬标签软标签表达形式唯一类别或 one-hot 向量所有类别上的概率分布信息量只保留最终答案保留置信度和类别关系主要来源人工标注或规则教师模型输出学习目标答对当前样本接近教师的整体判断方式这些没有直接写在人工标签中、却隐含在教师输出分布里的结构性信息常被称为暗知识Dark Knowledge。这里的“知识”不是一条可以直接阅读的事实而是教师通过大量数据形成的决策边界和类别相似性。神经网络通常不会直接输出概率而是先生成一组未归一化分数也就是logits。假设四个类别的 logits 为[4.2, 2.1, 1.8, -0.5]Softmax 会把它们转换成总和为 1 的概率p i e z i ∑ j e z j p_i\frac{e^{z_i}}{\sum_j e^{z_j}}pi​∑j​ezj​ezi​​其中z i z_izi​是第i ii个类别的 logitp i p_ipi​是对应概率。指数运算会放大分数差异因此最高类别可能占据绝大多数概率其他类别的细微关系反而不容易显现。蒸馏会在 Softmax 中加入温度参数TemperatureT TTp i ( T ) e z i / T ∑ j e z j / T p_i(T)\frac{e^{z_i/T}}{\sum_j e^{z_j/T}}pi​(T)∑j​ezj​/Tezi​/T​温度范围分布变化对蒸馏训练的影响T 1 T1T1保持普通 Softmax 分布不额外软化类别概率T 1 T1T1分布变平次优类别获得更多概率更容易暴露类别关系0 T 1 0T10T1分布变尖更强调最高概率类别弱化其他候选信息蒸馏训练常使用大于 1 的温度并对教师和学生的 logits 进行相同的温度缩放。需要注意这里的温度是训练概率分布的数学参数不是聊天模型接口中控制文本采样随机性的 temperature。二者名称相同但作用位置和含义不同。3. 蒸馏训练的核心原理经典知识蒸馏通常同时使用硬标签损失和软标签损失。前者要求学生尊重真实数据后者要求学生靠近教师的判断分布损失比较对象解决的问题硬标签损失学生预测与真实标签保证学生尊重事实标签不盲目复制教师错误软标签损失学生概率分布与教师概率分布让学生学习教师的置信度与类别关系总损失可以写成L α L h a r d ( 1 − α ) T 2 L s o f t L\alpha L_{hard}(1-\alpha)T^2L_{soft}LαLhard​(1−α)T2Lsoft​符号含义训练作用L h a r d L_{hard}Lhard​学生输出与真实标签的交叉熵损失保留真实监督信号L s o f t L_{soft}Lsoft​学生分布与教师分布之间的 KL 散度迁移教师输出分布中的暗知识α \alphaα硬标签损失的权重控制真实标签与教师信号的比例T TT蒸馏温度控制概率分布的平滑程度T 2 T^2T2梯度尺度补偿项补偿高温造成的梯度缩小软标签损失常使用KL 散度衡量两个概率分布的差异。令教师分布为P PP、学生分布为Q QQD K L ( P ∥ Q ) ∑ i P ( i ) log ⁡ P ( i ) Q ( i ) D_{KL}(P\|Q)\sum_i P(i)\log\frac{P(i)}{Q(i)}DKL​(P∥Q)i∑​P(i)logQ(i)P(i)​当学生在教师高概率类别上也给出高概率两者差异就会减小。KL 散度不是对称距离D K L ( P ∥ Q ) D_{KL}(P\|Q)DKL​(P∥Q)与D K L ( Q ∥ P ) D_{KL}(Q\|P)DKL​(Q∥P)一般不同。在蒸馏中教师是固定目标所以训练方向是让学生分布逐步靠近教师分布。一次完整的训练迭代可以概括为同一批输入 x ├── 教师模型冻结参数── 教师概率分布 ────────────────┐ │ │ └── 学生模型更新参数── 学生概率分布 ── 软标签损失 ─┤ ├── 加权总损失 真实标签 y ─────────────────────────────── 硬标签损失 ─────┘ ↓ 反向传播 ↓ 更新学生参数教师模型在训练过程中保持固定只负责提供监督信号学生模型根据总损失更新参数。为什么不能只学习教师因为教师同样可能判断错误。如果学生完全模仿教师它会连教师的偏差一起继承。真实标签提供事实锚点软标签则补充更细腻的类别关系两种信号共同构成较稳妥的训练目标。4. 大语言模型中的蒸馏方式大语言模型每生成一个 Token都会对整个词表计算概率。例如在“法国的首都是”之后模型可能认为“巴黎”的概率最高同时给“里昂”“城市”等 Token 较低概率。学生如果能够学习整个词表分布获得的信息就比只学习最终的“巴黎”更丰富。白盒蒸馏建立在能够访问教师内部信息的前提上。如果训练者拥有教师权重或者推理系统可以返回每个 Token 的完整 logits就能对齐教师与学生的 Token 概率、隐藏层表示或注意力关系。这种方法监督信号丰富但需要解决词表、隐藏维度和网络层数不同带来的对齐问题。黑盒蒸馏面对的是另一种条件调用者只能获得教师生成的文本无法读取完整概率分布和隐藏状态。此时通常先让教师为大量任务生成回答经过清洗、去重和验证后再使用这些“问题—回答”数据训练学生。这更准确地说属于序列级蒸馏或基于合成数据的监督微调。任务与原始数据 ↓ 教师模型生成回答 ↓ 清洗、去重、验证与过滤 ↓ 形成指令—回答数据集 ↓ 训练学生模型对比项白盒 Logit 蒸馏黑盒序列级蒸馏教师信号Token 概率、隐藏状态等最终回答文本是否需要模型内部访问是否信息密度较高较低实现难点词表、维度与网络结构对齐数据质量、调用成本与合规性学生主要模仿的内容教师的概率分布或内部表示教师展示出来的输入—输出行为因此“大量向大模型发送请求并保存回答”不等同于经典的 logit 蒸馏。普通商业模型 API 往往只返回文本最多提供部分 Token 的 log probability并不一定开放完整概率分布。没有拿到概率分布时学生学习的是教师的最终回答而不是所有候选 Token 之间的细微关系。如果教师还会输出分析步骤、工具调用轨迹或验证过程学生可以进一步学习“问题—过程—答案”数据。这类方法常被称为推理过程蒸馏、过程监督或轨迹蒸馏。它比只保存最终答案提供更多中间信号但不能简单理解为复制教师的“真实思维”。教师生成的过程可能包含事后解释、冗余步骤甚至事实错误仍需要规则、执行器、测试用例或人工抽检进行验证。5. 可靠蒸馏的条件与边界蒸馏不是让学生无差别模仿教师。开始训练前首先要明确学生要处理哪些任务、面向哪些用户、允许多大延迟、部署设备有多少内存以及哪些质量指标不能下降。一个端侧客服分类器只需要识别有限的业务意图就没有必要复制通用大模型的全部能力。围绕目标任务准备数据通常比盲目扩大数据规模更有效。一条可靠的蒸馏流程通常包括确定目标任务与资源约束 ↓ 收集真实输入并补充困难样本 ↓ 教师生成概率、答案或轨迹 ↓ 规则校验 模型评审 人工抽检 ↓ 去重、去污染并平衡数据分布 ↓ 训练学生模型 ↓ 在独立测试集评估质量与效率 ↓ 根据失败样本迭代数据训练集和测试集必须隔离。如果先让教师查看测试题再把这些回答用于训练最终分数就无法反映学生的泛化能力。对于代码、数学和工具调用任务最好使用可执行验证器检查结果而不是只让另一个模型判断答案“看起来是否正确”。蒸馏的目标是取得更好的效果—成本折中因此不能只比较准确率维度可选指标任务质量准确率、F1、通过率、人工偏好胜率教师保持率学生得分 / 教师得分推理效率首 Token 延迟、每秒 Token 数、请求吞吐量资源占用参数量、模型文件大小、峰值显存稳定性不同输入长度、领域与语言上的失败率安全性有害输出率、拒答准确性、隐私泄漏测试学生容量有限不可能无损容纳教师的全部行为。数据覆盖不足、学生过小或教师信号噪声过大都会造成能力损失。教师自身的事实错误、偏见和不安全行为也可能被学生继承蒸馏并不会自动净化这些问题。同样需要避免把“模仿答案”表述成“复制思维”。软标签反映的是教师的输出偏好生成轨迹反映的是教师展示出来的过程。更严谨的说法是学生在训练数据覆盖的范围内学习逼近教师的输入—输出行为。最后技术可行并不代表数据使用天然合规。使用自有模型、自有数据或获得明确许可的数据进行蒸馏是常见的工程方案使用第三方 API 生成训练数据时还必须检查服务条款、数据许可、隐私要求与输出使用限制。“是否属于蒸馏”是技术分类问题“是否可以这样获取和使用数据”是授权与合规问题判断时必须分别回答。总结知识蒸馏的核心不是让小模型机械背诵大模型答案而是为学生提供比单一硬标签更丰富的监督信号。在经典分类任务中这种信号是经过温度平滑的概率分布在大语言模型中它还可能是 Token logits、隐藏特征、最终回答或经过验证的生成轨迹。关键点核心结论监督信号硬标签提供事实锚点软标签补充教师的置信度和类别关系优化原理温度参数暴露次优类别信息KL 散度推动学生分布接近教师实现方式白盒蒸馏学习概率或内部表示黑盒蒸馏主要学习生成文本适用目标在明确任务和资源约束下将真正需要的能力迁移到更低成本的模型主要边界学生容量、教师错误、数据覆盖和合规要求都会限制最终效果从工程角度看蒸馏追求的不是“用小模型完整复制大模型”而是在质量、延迟、资源占用和服务成本之间找到合适平衡。这也是它在云端降本、垂直模型和端侧部署中持续发挥价值的原因。