最近不管是刷技术社区还是听一些 AI 方向的播客都会反复碰到一个词“蒸馏”。很多人第一次听到“蒸馏模型是什么意思”时第一反应是“把模型压缩一下”再往下问又分不清知识蒸馏、数据蒸馏、模型蒸馏之间的差别。再加上开源社区里越来越多的模型卡写着“Distilled from xxx”这个话题逐渐从一个学术概念变成了工程实践中绕不开的环节。本文围绕“蒸馏”这个主题从概念、原理、工程实现到常见误区做一次系统性拆解。文章不会停留在“蒸馏是一种模型压缩方法”这种一句话解释上而是会讲清楚 Teacher-Student 架构、软标签与温度参数、蒸馏损失函数等核心机制并给出一个可以本地运行的 PyTorch 知识蒸馏实战示例。如果你平时关注大模型开源生态也知道“开放模型逼近前沿”这个趋势那你更需要把蒸馏的底层逻辑弄明白。1. 背景为什么“蒸馏”最近频繁出现1.1 开放模型与前沿模型之间的追赶最近一段时间开源开放模型的能力提升速度非常明显。过去大家的印象是“开源模型落后闭源模型一截”但现在已经有不少开放权重模型在特定任务上接近甚至追平闭源前沿模型。这个过程里蒸馏扮演了一个非常重要的角色。很多人会误以为蒸馏只是把大模型变小是一个“阉割版”的模型压缩手段。但实际上蒸馏在开放模型生态里的作用更丰富它可以把一个大而强的模型变成一个更小、更快的模型同时尽量保留推理能力也可以让大模型生成高质量数据再用这些数据去训练小模型还可以把某种特定能力从一个模型迁移到另一个模型上。所以你会发现随着开源模型越来越强“蒸馏”这个词出现的频率也越来越高因为它本质上是在“能力”和“成本”之间做权衡。1.2 蒸馏是什么从一个生活比喻开始要理解“蒸馏模型是什么意思”先看一个生活化的比喻。蒸馏酒的过程是利用酒精和水的沸点不同把酒精从发酵液中分离出来。这个过程不产生新的物质而是把混合物中更“有价值”的成分提取出来浓缩到更高浓度。知识蒸馏的思路类似我们有一个能力很强的大模型Teacher教师模型它的知识分布很丰富。我们需要训练一个小模型Student学生模型让它学会大模型的“判断逻辑”。在训练时学生模型不只是看标准答案硬标签还要去模仿教师模型的输出概率分布软标签从而把教师模型“消化”过的知识迁移过来。简单说蒸馏不是把一个文件变小而是让一个更小的模型重新学习一遍“老师”的思维方式。1.3 知识蒸馏、数据蒸馏、模型蒸馏的区别这三个词在日常讨论中经常混用但它们其实有不同的侧重点。知识蒸馏是最经典的定义。它强调在训练过程中让学生模型学习教师模型的输出分布通常需要设计蒸馏损失函数。典型场景是 BERT 蒸馏成 TinyBERT或者大 LLM 蒸馏成 7B 小模型。数据蒸馏则更侧重“数据生产”。用大模型生成一批高质量的训练数据再用这批数据去训练小模型。这种方式在当前大模型时代非常流行甚至可以说是推动开源模型进步的核心手段之一。模型蒸馏可以看作一个更宽泛的称呼有时和知识蒸馏混用有时则指代“把一个模型的能力迁移到另一个模型”这一整个过程包括输出分布迁移、数据生成、能力对齐等。一句话总结知识蒸馏偏“训练目标”数据蒸馏偏“训练数据”模型蒸馏偏“整体方案”。三者在实际工程中经常组合使用。2. 知识蒸馏的核心原理2.1 Teacher-Student 架构知识蒸馏最基础的架构是 Teacher-Student也就是教师模型和学生模型。教师模型通常是参数量更大、训练更充分的模型。学生模型参数量更小、结构更精简。训练时两个模型接受相同的输入。教师模型给出输出概率分布学生模型不仅根据真实标签计算损失还根据教师模型的输出分布计算蒸馏损失。这里的关键点在于学生模型不是直接复制教师模型的参数而是学习教师模型在样本上的“反应模式”。教师模型说“这张图更接近猫”学生模型要学会“为什么更接近猫以及猫和狗之间有多接近”。2.2 软标签与温度参数 T要理解蒸馏必须先理解软标签soft label和硬标签hard label的区别。一个分类模型在输出层通常会经过 Softmax得到一个概率分布。比如分类结果是猫的概率是 0.7狗是 0.2鸟是 0.1这就是软标签。而硬标签则是 one-hot 形式比如猫是 1狗是 0鸟是 0。直接拿硬标签训练学生模型只能告诉它“正确答案是猫”但无法告诉它“猫和狗比较像猫和鸟差别大”。这些“相似度信息”对提升学生模型的泛化能力很重要。为了让软标签中的信息更明显蒸馏引入了温度参数 T。原始的 Softmax 公式是[ p_i \frac{\exp(z_i)}{\sum_j \exp(z_j)} ]引入温度 T 后变成[ p_i \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]当 T 大于 1 时概率分布变得更平滑类别之间的差异被放大。T 通常取 2 到 8 之间具体取值需要实验调整。2.3 蒸馏损失函数的构成知识蒸馏的总体损失通常由两部分组成第一部分是学生模型输出与真实标签之间的交叉熵损失用于确保学生模型能学到正确的分类结果。第二部分是学生模型输出与教师模型输出之间的蒸馏损失常用 KL 散度计算用于让学生模型模仿教师模型的判断倾向。最终的损失函数可以写成[ L \alpha \cdot L_{hard} (1 - \alpha) \cdot L_{soft} ]其中 α 是平衡两个损失的权重。训练初期可以适当增大硬标签损失的权重让模型先学会基本分类后期再加强软标签损失让模型学习更细粒度的差异。2.4 常见误区蒸馏不是直接拿大模型输出做硬标签很多刚接触蒸馏的同学会把“数据蒸馏”和“知识蒸馏”搞混以为只要把大模型的输出结果当成标准答案去训练小模型就是蒸馏。严格来说这只是“伪标签训练”它丢失了教师模型输出的概率分布信息。真正意义上的知识蒸馏要求学生模型去学习教师模型的“完整输出分布”而不只是一个 argmax 结果。当然在实际大模型场景里由于生成任务很难直接对齐完整概率分布很多人会用“大模型生成数据 → 清洗过滤 → 训练小模型”的方式来近似实现蒸馏。这种工程做法很常见但它与经典知识蒸馏在机制上是有区别的。3. 蒸馏、剪枝、量化的边界与配合3.1 三种轻量化手段的定位当开发者讨论“模型轻量化”时通常会提到三个方向蒸馏、剪枝、量化。蒸馏的核心是“重训”。它训练出一个结构更小的模型让它模仿大模型的能力。蒸馏后的模型通常仍然需要完整的训练流程但推理成本显著降低。剪枝的核心是“删减”。它在已有模型中去掉对最终结果影响较小的参数或神经元让模型更稀疏。剪枝可以在训练前、训练中或训练后做但往往需要微调恢复精度。量化的核心是“压缩精度表示”。把模型权重从 FP32 降到 INT8 甚至 INT4减少内存占用并加速推理。量化对硬件有要求不同硬件对低精度运算的支持不同。三者的目标一致但作用层面完全不同。蒸馏改变的是模型结构和训练方式剪枝改变的是模型连接和稀疏性量化改变的是参数存储和计算精度。3.2 什么时候选蒸馏什么时候选量化选择哪种方案取决于你的业务瓶颈在哪里。如果你的瓶颈是模型参数量太大、推理延迟太高而且你有足够的训练数据和算力重新训练一个模型蒸馏是首选。它能从根本上改变模型容量。如果模型已经训练好了你不想重新训练只是希望降低显存占用、提升推理速度量化更合适。尤其是 LLM 部署场景PTQ训练后量化几乎是标配。如果你的模型存在大量冗余参数并且想保留原有结构可以尝试剪枝加微调。但在大模型时代剪枝的收益通常不如蒸馏和量化直观。3.3 蒸馏、剪枝、量化如何组合实际工程中这三种手段经常组合使用。比如先对一个大模型做知识蒸馏得到一个小模型然后对这个小模型做量化进一步降低显存占用如果量化后精度损失较大可以做一小段蒸馏式微调来恢复。这种组合方案在边缘部署场景中非常常见。先蒸馏到 7B 以下再 INT4 量化最后在消费级显卡上跑推理已经是很成熟的落地路径。4. 开放模型生态中蒸馏的典型应用4.1 让小模型对齐大模型的推理行为在开源社区蒸馏最常见的用途是“用小模型学习大模型的推理模式”。例如很多团队会先用一个能力较强的开源大模型生成大量包含思维链的训练数据再用这些数据去训练一个规模更小的模型。训练完成后小模型虽然参数少但在特定任务上的表现可能接近大模型。这种方式的优点非常明显小模型推理成本低部署门槛低可以直接跑在消费级显卡甚至 CPU 上。对于预算有限的团队这是一种很务实的路线。4.2 数据蒸馏用大模型生成高质量训练集数据蒸馏在最近一两年甚至比知识蒸馏更火热。思路很简单大模型已经学会了很多知识可以让它在给定条件下生成示例、解释、答案甚至是完整的问答对。然后筛选出高质量样本作为小模型的训练集。这样做的好处是训练数据的获取不再完全依赖人工标注。过去标注十万条数据可能需要几个月现在用大模型生成后再配合规则和人工抽检可以大幅缩短数据准备周期。需要注意的是数据蒸馏不等于“随便生成”。生成数据的质量直接决定小模型的上限。实践中通常要设计提示词、加入多样性控制、做去重和污染检测才能保证数据可用。4.3 “蒸馏一本书的 skill 知识库”这种说法本义是什么有些社区讨论里会出现“蒸馏一本书的 skill 知识库”这样的说法。这里的“蒸馏”更多是一种比喻意思是从一本书或一批文档中提炼出核心知识点整理成结构化知识或技能描述。这种场景本质上属于“知识管理层面的数据提炼”和模型层面的知识蒸馏并不是同一件事。不过在工程中它往往和模型蒸馏产生交集把一本书的内容整理成大量问答对再拿去微调或蒸馏一个小模型让模型具备这本书相关的知识能力。因此看到“蒸馏一本书”这种说法时不必纠结于字面意思它重点强调的是“从大量信息中提取高价值内容”的过程。4.4 蒸馏开放模型时要注意的授权边界蒸馏开放模型时必须关注模型的开源协议和数据使用条款。不同的开放模型有不同的许可证对输出数据能否用于再训练、能否商用、是否需要保留版权声明都有不同要求。即使一个模型权重是开放的也不代表你可以随意用它的输出数据去训练商业模型。在实际项目开始前务必阅读模型的 License、服务条款和社区规范。涉及数据版权和合法授权的部分建议咨询法务或专业人士。从技术角度看蒸馏能力很强大从合规角度看边界一定要先搞清楚。5. 环境准备与工程说明5.1 实验环境本文的实战示例使用 PyTorch 实现一个图像分类场景下的知识蒸馏。以“教师模型大一点、学生模型小一点”的方式演示核心流程。运行环境建议如下操作系统Windows 10/11、Ubuntu 20.04 或 macOS 均可。Python 版本3.8 及以上。PyTorch2.x 或 1.13 均可2.x 版本更推荐。torchvision与 PyTorch 版本匹配即可。显卡有 NVIDIA GPU 更好没有 GPU 用 CPU 也能跑通只是训练慢一些。如果你本地的 Python 版本或 PyTorch 版本与本文不完全一致不要担心代码使用的 API 都是长期稳定的接口按你本地的实际环境稍作调整即可。5.2 安装依赖建议先创建一个独立的虚拟环境避免依赖冲突。conda create -n distill_demo python3.9 -y conda activate distill_demo然后安装 PyTorch。如果使用 GPU 版本可以到 PyTorch 官网选择适合你 CUDA 版本的安装命令。如果只想快速验证先安装 CPU 版本也可以pip install torch torchvision安装完成后可以运行下面的命令确认环境正常python -c import torch; print(torch.__version__)如果输出了版本号说明环境已经就绪。5.3 项目结构为了让代码更清晰建议按下面的结构组织文件distill_demo/ ├── train.py └── README.mdtrain.py存放所有训练代码。这里的重点是演示知识蒸馏的训练逻辑所以不拆分成多个模块读者复制到本地直接运行即可。6. 实战基于 PyTorch 实现知识蒸馏6.1 准备数据集示例使用 MNIST 手写数字数据集。MNIST 是图像分类领域的入门数据集包含 0 到 9 共十个类别。每张图片是 28×28 的灰度图训练集有 6 万张测试集有 1 万张。使用 torchvision 下载数据时会自动完成归一化处理。代码如下# 文件路径distill_demo/train.py import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据集预处理转为张量并归一化 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, transformtransform, downloadTrue ) test_dataset datasets.MNIST( root./data, trainFalse, transformtransform, downloadTrue ) train_loader DataLoader(train_dataset, batch_size128, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)6.2 定义教师模型和学生模型这里设计两个结构相近但宽度不同的卷积神经网络。教师模型使用较多的卷积通道学生模型使用较少的卷积通道。两者的输出维度都是 10因为 MNIST 是 10 分类任务。代码实现如下# 教师模型通道数较多容量更大 class TeacherNet(nn.Module): def __init__(self): super(TeacherNet, self).__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(64 * 7 * 7, 256) self.fc2 nn.Linear(256, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) x self.pool(F.relu(self.conv2(x))) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.fc2(x) return x # 学生模型通道数较少容量更小 class StudentNet(nn.Module): def __init__(self): super(StudentNet, self).__init__() self.conv1 nn.Conv2d(1, 8, kernel_size3, padding1) self.conv2 nn.Conv2d(8, 16, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(16 * 7 * 7, 64) self.fc2 nn.Linear(64, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) x self.pool(F.relu(self.conv2(x))) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.fc2(x) return x可以看到教师模型的卷积通道数是 32 和 64学生模型只有 8 和 16全连接层的维度也差了很多。这正好体现了“教师大、学生小”的经典设计思路。6.3 实现蒸馏训练核心逻辑知识蒸馏的关键在于损失函数。分别用普通交叉熵和 KL 散度计算两种情况下的损失。先从数据分布的角度解释一下模型输出经过 Softmax 后得到概率分布。在蒸馏时我们想让这个概率分布尽量贴近教师模型的输出。KL 散度可以用来衡量两个概率分布之间的差异值越小说明两个分布越接近。为了控制概率分布的平滑程度蒸馏时会对两个模型的 logits 先除以温度 T再计算 Softmax。下面的代码实现了蒸馏损失计算# 知识蒸馏损失函数 def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): # 硬标签损失学生模型与真实标签的交叉熵 hard_loss F.cross_entropy(student_logits, labels) # 软标签损失学生模型与教师模型输出分布的 KL 散度 soft_student F.log_softmax(student_logits / T, dim1) soft_teacher F.softmax(teacher_logits / T, dim1) soft_loss F.kl_div(soft_student, soft_teacher, reductionbatchmean) # 最终损失 loss alpha * hard_loss (1 - alpha) * soft_loss * (T * T) return loss对T * T这一点稍作解释因为软标签概率经过温度缩放后梯度会变小乘以T*T可以在一定程度上恢复梯度量级让软标签损失不会因为温度变大而过分削弱。这个操作在很多蒸馏实现中都会出现但不同实现略有差异读者按自己理解调整即可。6.4 完整的训练与评估代码下面把整个训练流程串起来包括训练教师模型、用教师模型指导学生模型训练、最后测试学生模型准确率。完整代码在本地新建的train.py中可以直接运行def train_teacher(epochs3): teacher TeacherNet() optimizer optim.Adam(teacher.parameters(), lr0.001) teacher.train() for epoch in range(epochs): total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs teacher(images) loss F.cross_entropy(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() print(f[Teacher] Epoch {epoch 1}/{epochs}, Loss: {total_loss / len(train_loader):.4f}) return teacher def train_student_with_distillation(teacher, epochs3, T4.0, alpha0.7): student StudentNet() optimizer optim.Adam(student.parameters(), lr0.001) teacher.eval() for epoch in range(epochs): total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() with torch.no_grad(): teacher_logits teacher(images) student_logits student(images) loss distillation_loss(student_logits, teacher_logits, labels, T, alpha) loss.backward() optimizer.step() total_loss loss.item() print(f[Student] Epoch {epoch 1}/{epochs}, Loss: {total_loss / len(train_loader):.4f}) return student def evaluate(model): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: outputs model(images) _, predicted torch.max(outputs, dim1) total labels.size(0) correct (predicted labels).sum().item() accuracy 100.0 * correct / total return accuracy if __name__ __main__: print(开始训练教师模型...) teacher_model train_teacher(epochs3) teacher_acc evaluate(teacher_model) print(f教师模型测试准确率: {teacher_acc:.2f}%) print(开始使用知识蒸馏训练学生模型...) student_model train_student_with_distillation(teacher_model, epochs3) student_acc evaluate(student_model) print(f学生模型测试准确率: {student_acc:.2f}%) # 对比不使用蒸馏直接训练学生模型 print(开始直接训练学生模型无蒸馏...) student_plain StudentNet() optimizer optim.Adam(student_plain.parameters(), lr0.001) for epoch in range(3): student_plain.train() total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs student_plain(images) loss F.cross_entropy(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() print(f[Plain Student] Epoch {epoch 1}/3, Loss: {total_loss / len(train_loader):.4f}) plain_acc evaluate(student_plain) print(f普通学生模型测试准确率: {plain_acc:.2f}%)6.5 运行结果说明直接运行上面的脚本会依次打印教师模型、蒸馏学生模型、普通学生模型的损失和准确率。由于 MNIST 本身比较简单教师模型训练 3 个 epoch 后准确率通常可以达到 99% 左右。学生模型即使很小直接训练也能获得 98% 以上的准确率。因此在这个示例里蒸馏带来的提升可能不会特别夸张但它能让你完整看到蒸馏的代码流程。如果你希望更明显看出蒸馏的收益可以换成 CIFAR-10 或更大的数据集同时进一步缩小学生模型或者在训练教师时提高精度。这样学生模型在蒸馏和普通训练之间的差距会更明显。别忘了真正理解蒸馏的关键不是看准确率数字而是看“教师模型的输出分布”是如何被转递到“学生模型”的。你可以尝试调整温度 T 和权重 α观察损失曲线和准确率的变化这会帮助你建立更直观的体感。7. 常见问题与排查思路问题现象常见原因解决思路蒸馏训练时损失不下降温度 T 设置过大软标签过于平滑适当降低 T比如从 4.0 调整到 2.0 或 3.0学生模型准确率不如直接训练蒸馏损失权重过低学生没有学到教师分布调大 α或调整软标签损失的权重和 T*T 缩放教师模型准确率太低教师模型训练不充分增加教师模型的 epoch 或增加模型容量学生模型训练时间过长参数过多或数据集过大检查学生模型结构适当减少通道数或层数GPU 显存不足batch size 过大或者教师模型过大减小 batch size或使用梯度累积损失出现 NaN学习率过大导致梯度爆炸降低学习率或加入梯度裁剪排查时建议先确认教师模型本身的性能。如果教师模型能力都不行学生模型很难通过蒸馏得到提升。然后检查软标签的平滑程度温度太大和太小都可能影响效果。最后再检查两个损失之间的平衡权重。8. 最佳实践与工程建议8.1 教师模型的质量决定学生模型的上限这是一个非常朴素的道理学生模型的蒸馏上限不会超过教师模型太多。教师能力越强、输出分布越丰富学生能学到的信息就越多。所以在蒸馏之前先把教师模型训练好比盲目调蒸馏参数更重要。8.2 温度 T 与损失权重要一起调很多实践总结会告诉你“T 通常取 2 到 8”但具体取值要结合任务和模型容量来调整。温度过高教师输出的分布差异会被抹平学生难以学到有效信息温度过低又退化成接近硬标签训练蒸馏失去意义。更好的做法是同时调整 T 和 α。可以先固定 α 为 0.7扫描 T 的取值再固定 T扫描 α。把结果记录成一张小表格选择验证集表现最好的组合。8.3 蒸馏并不一定需要完整的教师模型权重在大模型场景有时我们拿不到完整模型的权重只能通过 API 拿到输出结果。这种场景下依然可以“蒸馏”把输入样本发给教师模型拿到输出和概率分布用这些数据训练学生模型。但这种方式的训练数据成本较高建议先做小规模验证确认收益后再扩大数据量。8.4 日志、评估与实验记录蒸馏实验的参数组合通常比较多建议在代码中记录每一次实验的关键信息T、α、教师模型结构、学生模型结构、训练轮数、最终准确率、推理速度等。这不仅是工程习惯也是排查问题的关键。很多蒸馏实验失败不是因为方法不对而是因为实验条件记录不清导致后续无法复现。8.5 生产环境中的谨慎态度生产环境使用蒸馏模型时不能只关注离线指标还要关注数据的分布漂移。蒸馏模型在训练集上的表现再好遇到分布外的数据也可能失效。建议在上线前做充分的评估包括对抗样本、边界样本、不同业务场景的差异。如果蒸馏模型是自动生成数据训练出来的还需要检查数据里是否存在偏见、重复或有害内容。9. 总结与下一步建议从概念上看蒸馏回答了“怎么让一个小模型学到大模型的能力”这个问题从工程上看蒸馏是模型轻量化、数据效率提升、开放模型能力迁移的重要手段。无论你是做传统 CV 模型还是做大模型微调理解蒸馏的底层逻辑都会对你的技术判断有帮助。本文通过一个完整的 MNIST 知识蒸馏示例演示了 Teacher-Student 架构、软标签、蒸馏损失函数等核心模块。代码结构可以直接复用读者只需要调整数据集和模型结构就能迁移到自己的任务上。接下来如果你想继续深入可以按以下方向学习把示例中的 CNN 换成 Transformer 结构观察蒸馏在不同架构下的表现差异。使用更大的数据集比如 CIFAR-100验证蒸馏在小模型上的收益。研究大模型之间的蒸馏比如从 70B 模型蒸馏到 7B 模型重点观察数据生成、清洗、评估的完整链路。深入学习量化与剪枝和蒸馏组合使用形成一套完整的模型轻量化方案。建议你先把本文的代码跑起来然后尝试改变温度 T、损失权重 α、模型结构这几个变量记录实验结果。多跑几次之后你自然能感受到蒸馏的微妙之处。 知识蒸馏原理与PyTorch实战：从Teacher-Student到模型轻量化
最近不管是刷技术社区还是听一些 AI 方向的播客都会反复碰到一个词“蒸馏”。很多人第一次听到“蒸馏模型是什么意思”时第一反应是“把模型压缩一下”再往下问又分不清知识蒸馏、数据蒸馏、模型蒸馏之间的差别。再加上开源社区里越来越多的模型卡写着“Distilled from xxx”这个话题逐渐从一个学术概念变成了工程实践中绕不开的环节。本文围绕“蒸馏”这个主题从概念、原理、工程实现到常见误区做一次系统性拆解。文章不会停留在“蒸馏是一种模型压缩方法”这种一句话解释上而是会讲清楚 Teacher-Student 架构、软标签与温度参数、蒸馏损失函数等核心机制并给出一个可以本地运行的 PyTorch 知识蒸馏实战示例。如果你平时关注大模型开源生态也知道“开放模型逼近前沿”这个趋势那你更需要把蒸馏的底层逻辑弄明白。1. 背景为什么“蒸馏”最近频繁出现1.1 开放模型与前沿模型之间的追赶最近一段时间开源开放模型的能力提升速度非常明显。过去大家的印象是“开源模型落后闭源模型一截”但现在已经有不少开放权重模型在特定任务上接近甚至追平闭源前沿模型。这个过程里蒸馏扮演了一个非常重要的角色。很多人会误以为蒸馏只是把大模型变小是一个“阉割版”的模型压缩手段。但实际上蒸馏在开放模型生态里的作用更丰富它可以把一个大而强的模型变成一个更小、更快的模型同时尽量保留推理能力也可以让大模型生成高质量数据再用这些数据去训练小模型还可以把某种特定能力从一个模型迁移到另一个模型上。所以你会发现随着开源模型越来越强“蒸馏”这个词出现的频率也越来越高因为它本质上是在“能力”和“成本”之间做权衡。1.2 蒸馏是什么从一个生活比喻开始要理解“蒸馏模型是什么意思”先看一个生活化的比喻。蒸馏酒的过程是利用酒精和水的沸点不同把酒精从发酵液中分离出来。这个过程不产生新的物质而是把混合物中更“有价值”的成分提取出来浓缩到更高浓度。知识蒸馏的思路类似我们有一个能力很强的大模型Teacher教师模型它的知识分布很丰富。我们需要训练一个小模型Student学生模型让它学会大模型的“判断逻辑”。在训练时学生模型不只是看标准答案硬标签还要去模仿教师模型的输出概率分布软标签从而把教师模型“消化”过的知识迁移过来。简单说蒸馏不是把一个文件变小而是让一个更小的模型重新学习一遍“老师”的思维方式。1.3 知识蒸馏、数据蒸馏、模型蒸馏的区别这三个词在日常讨论中经常混用但它们其实有不同的侧重点。知识蒸馏是最经典的定义。它强调在训练过程中让学生模型学习教师模型的输出分布通常需要设计蒸馏损失函数。典型场景是 BERT 蒸馏成 TinyBERT或者大 LLM 蒸馏成 7B 小模型。数据蒸馏则更侧重“数据生产”。用大模型生成一批高质量的训练数据再用这批数据去训练小模型。这种方式在当前大模型时代非常流行甚至可以说是推动开源模型进步的核心手段之一。模型蒸馏可以看作一个更宽泛的称呼有时和知识蒸馏混用有时则指代“把一个模型的能力迁移到另一个模型”这一整个过程包括输出分布迁移、数据生成、能力对齐等。一句话总结知识蒸馏偏“训练目标”数据蒸馏偏“训练数据”模型蒸馏偏“整体方案”。三者在实际工程中经常组合使用。2. 知识蒸馏的核心原理2.1 Teacher-Student 架构知识蒸馏最基础的架构是 Teacher-Student也就是教师模型和学生模型。教师模型通常是参数量更大、训练更充分的模型。学生模型参数量更小、结构更精简。训练时两个模型接受相同的输入。教师模型给出输出概率分布学生模型不仅根据真实标签计算损失还根据教师模型的输出分布计算蒸馏损失。这里的关键点在于学生模型不是直接复制教师模型的参数而是学习教师模型在样本上的“反应模式”。教师模型说“这张图更接近猫”学生模型要学会“为什么更接近猫以及猫和狗之间有多接近”。2.2 软标签与温度参数 T要理解蒸馏必须先理解软标签soft label和硬标签hard label的区别。一个分类模型在输出层通常会经过 Softmax得到一个概率分布。比如分类结果是猫的概率是 0.7狗是 0.2鸟是 0.1这就是软标签。而硬标签则是 one-hot 形式比如猫是 1狗是 0鸟是 0。直接拿硬标签训练学生模型只能告诉它“正确答案是猫”但无法告诉它“猫和狗比较像猫和鸟差别大”。这些“相似度信息”对提升学生模型的泛化能力很重要。为了让软标签中的信息更明显蒸馏引入了温度参数 T。原始的 Softmax 公式是[ p_i \frac{\exp(z_i)}{\sum_j \exp(z_j)} ]引入温度 T 后变成[ p_i \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]当 T 大于 1 时概率分布变得更平滑类别之间的差异被放大。T 通常取 2 到 8 之间具体取值需要实验调整。2.3 蒸馏损失函数的构成知识蒸馏的总体损失通常由两部分组成第一部分是学生模型输出与真实标签之间的交叉熵损失用于确保学生模型能学到正确的分类结果。第二部分是学生模型输出与教师模型输出之间的蒸馏损失常用 KL 散度计算用于让学生模型模仿教师模型的判断倾向。最终的损失函数可以写成[ L \alpha \cdot L_{hard} (1 - \alpha) \cdot L_{soft} ]其中 α 是平衡两个损失的权重。训练初期可以适当增大硬标签损失的权重让模型先学会基本分类后期再加强软标签损失让模型学习更细粒度的差异。2.4 常见误区蒸馏不是直接拿大模型输出做硬标签很多刚接触蒸馏的同学会把“数据蒸馏”和“知识蒸馏”搞混以为只要把大模型的输出结果当成标准答案去训练小模型就是蒸馏。严格来说这只是“伪标签训练”它丢失了教师模型输出的概率分布信息。真正意义上的知识蒸馏要求学生模型去学习教师模型的“完整输出分布”而不只是一个 argmax 结果。当然在实际大模型场景里由于生成任务很难直接对齐完整概率分布很多人会用“大模型生成数据 → 清洗过滤 → 训练小模型”的方式来近似实现蒸馏。这种工程做法很常见但它与经典知识蒸馏在机制上是有区别的。3. 蒸馏、剪枝、量化的边界与配合3.1 三种轻量化手段的定位当开发者讨论“模型轻量化”时通常会提到三个方向蒸馏、剪枝、量化。蒸馏的核心是“重训”。它训练出一个结构更小的模型让它模仿大模型的能力。蒸馏后的模型通常仍然需要完整的训练流程但推理成本显著降低。剪枝的核心是“删减”。它在已有模型中去掉对最终结果影响较小的参数或神经元让模型更稀疏。剪枝可以在训练前、训练中或训练后做但往往需要微调恢复精度。量化的核心是“压缩精度表示”。把模型权重从 FP32 降到 INT8 甚至 INT4减少内存占用并加速推理。量化对硬件有要求不同硬件对低精度运算的支持不同。三者的目标一致但作用层面完全不同。蒸馏改变的是模型结构和训练方式剪枝改变的是模型连接和稀疏性量化改变的是参数存储和计算精度。3.2 什么时候选蒸馏什么时候选量化选择哪种方案取决于你的业务瓶颈在哪里。如果你的瓶颈是模型参数量太大、推理延迟太高而且你有足够的训练数据和算力重新训练一个模型蒸馏是首选。它能从根本上改变模型容量。如果模型已经训练好了你不想重新训练只是希望降低显存占用、提升推理速度量化更合适。尤其是 LLM 部署场景PTQ训练后量化几乎是标配。如果你的模型存在大量冗余参数并且想保留原有结构可以尝试剪枝加微调。但在大模型时代剪枝的收益通常不如蒸馏和量化直观。3.3 蒸馏、剪枝、量化如何组合实际工程中这三种手段经常组合使用。比如先对一个大模型做知识蒸馏得到一个小模型然后对这个小模型做量化进一步降低显存占用如果量化后精度损失较大可以做一小段蒸馏式微调来恢复。这种组合方案在边缘部署场景中非常常见。先蒸馏到 7B 以下再 INT4 量化最后在消费级显卡上跑推理已经是很成熟的落地路径。4. 开放模型生态中蒸馏的典型应用4.1 让小模型对齐大模型的推理行为在开源社区蒸馏最常见的用途是“用小模型学习大模型的推理模式”。例如很多团队会先用一个能力较强的开源大模型生成大量包含思维链的训练数据再用这些数据去训练一个规模更小的模型。训练完成后小模型虽然参数少但在特定任务上的表现可能接近大模型。这种方式的优点非常明显小模型推理成本低部署门槛低可以直接跑在消费级显卡甚至 CPU 上。对于预算有限的团队这是一种很务实的路线。4.2 数据蒸馏用大模型生成高质量训练集数据蒸馏在最近一两年甚至比知识蒸馏更火热。思路很简单大模型已经学会了很多知识可以让它在给定条件下生成示例、解释、答案甚至是完整的问答对。然后筛选出高质量样本作为小模型的训练集。这样做的好处是训练数据的获取不再完全依赖人工标注。过去标注十万条数据可能需要几个月现在用大模型生成后再配合规则和人工抽检可以大幅缩短数据准备周期。需要注意的是数据蒸馏不等于“随便生成”。生成数据的质量直接决定小模型的上限。实践中通常要设计提示词、加入多样性控制、做去重和污染检测才能保证数据可用。4.3 “蒸馏一本书的 skill 知识库”这种说法本义是什么有些社区讨论里会出现“蒸馏一本书的 skill 知识库”这样的说法。这里的“蒸馏”更多是一种比喻意思是从一本书或一批文档中提炼出核心知识点整理成结构化知识或技能描述。这种场景本质上属于“知识管理层面的数据提炼”和模型层面的知识蒸馏并不是同一件事。不过在工程中它往往和模型蒸馏产生交集把一本书的内容整理成大量问答对再拿去微调或蒸馏一个小模型让模型具备这本书相关的知识能力。因此看到“蒸馏一本书”这种说法时不必纠结于字面意思它重点强调的是“从大量信息中提取高价值内容”的过程。4.4 蒸馏开放模型时要注意的授权边界蒸馏开放模型时必须关注模型的开源协议和数据使用条款。不同的开放模型有不同的许可证对输出数据能否用于再训练、能否商用、是否需要保留版权声明都有不同要求。即使一个模型权重是开放的也不代表你可以随意用它的输出数据去训练商业模型。在实际项目开始前务必阅读模型的 License、服务条款和社区规范。涉及数据版权和合法授权的部分建议咨询法务或专业人士。从技术角度看蒸馏能力很强大从合规角度看边界一定要先搞清楚。5. 环境准备与工程说明5.1 实验环境本文的实战示例使用 PyTorch 实现一个图像分类场景下的知识蒸馏。以“教师模型大一点、学生模型小一点”的方式演示核心流程。运行环境建议如下操作系统Windows 10/11、Ubuntu 20.04 或 macOS 均可。Python 版本3.8 及以上。PyTorch2.x 或 1.13 均可2.x 版本更推荐。torchvision与 PyTorch 版本匹配即可。显卡有 NVIDIA GPU 更好没有 GPU 用 CPU 也能跑通只是训练慢一些。如果你本地的 Python 版本或 PyTorch 版本与本文不完全一致不要担心代码使用的 API 都是长期稳定的接口按你本地的实际环境稍作调整即可。5.2 安装依赖建议先创建一个独立的虚拟环境避免依赖冲突。conda create -n distill_demo python3.9 -y conda activate distill_demo然后安装 PyTorch。如果使用 GPU 版本可以到 PyTorch 官网选择适合你 CUDA 版本的安装命令。如果只想快速验证先安装 CPU 版本也可以pip install torch torchvision安装完成后可以运行下面的命令确认环境正常python -c import torch; print(torch.__version__)如果输出了版本号说明环境已经就绪。5.3 项目结构为了让代码更清晰建议按下面的结构组织文件distill_demo/ ├── train.py └── README.mdtrain.py存放所有训练代码。这里的重点是演示知识蒸馏的训练逻辑所以不拆分成多个模块读者复制到本地直接运行即可。6. 实战基于 PyTorch 实现知识蒸馏6.1 准备数据集示例使用 MNIST 手写数字数据集。MNIST 是图像分类领域的入门数据集包含 0 到 9 共十个类别。每张图片是 28×28 的灰度图训练集有 6 万张测试集有 1 万张。使用 torchvision 下载数据时会自动完成归一化处理。代码如下# 文件路径distill_demo/train.py import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据集预处理转为张量并归一化 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, transformtransform, downloadTrue ) test_dataset datasets.MNIST( root./data, trainFalse, transformtransform, downloadTrue ) train_loader DataLoader(train_dataset, batch_size128, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)6.2 定义教师模型和学生模型这里设计两个结构相近但宽度不同的卷积神经网络。教师模型使用较多的卷积通道学生模型使用较少的卷积通道。两者的输出维度都是 10因为 MNIST 是 10 分类任务。代码实现如下# 教师模型通道数较多容量更大 class TeacherNet(nn.Module): def __init__(self): super(TeacherNet, self).__init__() self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(64 * 7 * 7, 256) self.fc2 nn.Linear(256, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) x self.pool(F.relu(self.conv2(x))) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.fc2(x) return x # 学生模型通道数较少容量更小 class StudentNet(nn.Module): def __init__(self): super(StudentNet, self).__init__() self.conv1 nn.Conv2d(1, 8, kernel_size3, padding1) self.conv2 nn.Conv2d(8, 16, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) self.fc1 nn.Linear(16 * 7 * 7, 64) self.fc2 nn.Linear(64, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) x self.pool(F.relu(self.conv2(x))) x x.view(x.size(0), -1) x F.relu(self.fc1(x)) x self.fc2(x) return x可以看到教师模型的卷积通道数是 32 和 64学生模型只有 8 和 16全连接层的维度也差了很多。这正好体现了“教师大、学生小”的经典设计思路。6.3 实现蒸馏训练核心逻辑知识蒸馏的关键在于损失函数。分别用普通交叉熵和 KL 散度计算两种情况下的损失。先从数据分布的角度解释一下模型输出经过 Softmax 后得到概率分布。在蒸馏时我们想让这个概率分布尽量贴近教师模型的输出。KL 散度可以用来衡量两个概率分布之间的差异值越小说明两个分布越接近。为了控制概率分布的平滑程度蒸馏时会对两个模型的 logits 先除以温度 T再计算 Softmax。下面的代码实现了蒸馏损失计算# 知识蒸馏损失函数 def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): # 硬标签损失学生模型与真实标签的交叉熵 hard_loss F.cross_entropy(student_logits, labels) # 软标签损失学生模型与教师模型输出分布的 KL 散度 soft_student F.log_softmax(student_logits / T, dim1) soft_teacher F.softmax(teacher_logits / T, dim1) soft_loss F.kl_div(soft_student, soft_teacher, reductionbatchmean) # 最终损失 loss alpha * hard_loss (1 - alpha) * soft_loss * (T * T) return loss对T * T这一点稍作解释因为软标签概率经过温度缩放后梯度会变小乘以T*T可以在一定程度上恢复梯度量级让软标签损失不会因为温度变大而过分削弱。这个操作在很多蒸馏实现中都会出现但不同实现略有差异读者按自己理解调整即可。6.4 完整的训练与评估代码下面把整个训练流程串起来包括训练教师模型、用教师模型指导学生模型训练、最后测试学生模型准确率。完整代码在本地新建的train.py中可以直接运行def train_teacher(epochs3): teacher TeacherNet() optimizer optim.Adam(teacher.parameters(), lr0.001) teacher.train() for epoch in range(epochs): total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs teacher(images) loss F.cross_entropy(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() print(f[Teacher] Epoch {epoch 1}/{epochs}, Loss: {total_loss / len(train_loader):.4f}) return teacher def train_student_with_distillation(teacher, epochs3, T4.0, alpha0.7): student StudentNet() optimizer optim.Adam(student.parameters(), lr0.001) teacher.eval() for epoch in range(epochs): total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() with torch.no_grad(): teacher_logits teacher(images) student_logits student(images) loss distillation_loss(student_logits, teacher_logits, labels, T, alpha) loss.backward() optimizer.step() total_loss loss.item() print(f[Student] Epoch {epoch 1}/{epochs}, Loss: {total_loss / len(train_loader):.4f}) return student def evaluate(model): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: outputs model(images) _, predicted torch.max(outputs, dim1) total labels.size(0) correct (predicted labels).sum().item() accuracy 100.0 * correct / total return accuracy if __name__ __main__: print(开始训练教师模型...) teacher_model train_teacher(epochs3) teacher_acc evaluate(teacher_model) print(f教师模型测试准确率: {teacher_acc:.2f}%) print(开始使用知识蒸馏训练学生模型...) student_model train_student_with_distillation(teacher_model, epochs3) student_acc evaluate(student_model) print(f学生模型测试准确率: {student_acc:.2f}%) # 对比不使用蒸馏直接训练学生模型 print(开始直接训练学生模型无蒸馏...) student_plain StudentNet() optimizer optim.Adam(student_plain.parameters(), lr0.001) for epoch in range(3): student_plain.train() total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs student_plain(images) loss F.cross_entropy(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() print(f[Plain Student] Epoch {epoch 1}/3, Loss: {total_loss / len(train_loader):.4f}) plain_acc evaluate(student_plain) print(f普通学生模型测试准确率: {plain_acc:.2f}%)6.5 运行结果说明直接运行上面的脚本会依次打印教师模型、蒸馏学生模型、普通学生模型的损失和准确率。由于 MNIST 本身比较简单教师模型训练 3 个 epoch 后准确率通常可以达到 99% 左右。学生模型即使很小直接训练也能获得 98% 以上的准确率。因此在这个示例里蒸馏带来的提升可能不会特别夸张但它能让你完整看到蒸馏的代码流程。如果你希望更明显看出蒸馏的收益可以换成 CIFAR-10 或更大的数据集同时进一步缩小学生模型或者在训练教师时提高精度。这样学生模型在蒸馏和普通训练之间的差距会更明显。别忘了真正理解蒸馏的关键不是看准确率数字而是看“教师模型的输出分布”是如何被转递到“学生模型”的。你可以尝试调整温度 T 和权重 α观察损失曲线和准确率的变化这会帮助你建立更直观的体感。7. 常见问题与排查思路问题现象常见原因解决思路蒸馏训练时损失不下降温度 T 设置过大软标签过于平滑适当降低 T比如从 4.0 调整到 2.0 或 3.0学生模型准确率不如直接训练蒸馏损失权重过低学生没有学到教师分布调大 α或调整软标签损失的权重和 T*T 缩放教师模型准确率太低教师模型训练不充分增加教师模型的 epoch 或增加模型容量学生模型训练时间过长参数过多或数据集过大检查学生模型结构适当减少通道数或层数GPU 显存不足batch size 过大或者教师模型过大减小 batch size或使用梯度累积损失出现 NaN学习率过大导致梯度爆炸降低学习率或加入梯度裁剪排查时建议先确认教师模型本身的性能。如果教师模型能力都不行学生模型很难通过蒸馏得到提升。然后检查软标签的平滑程度温度太大和太小都可能影响效果。最后再检查两个损失之间的平衡权重。8. 最佳实践与工程建议8.1 教师模型的质量决定学生模型的上限这是一个非常朴素的道理学生模型的蒸馏上限不会超过教师模型太多。教师能力越强、输出分布越丰富学生能学到的信息就越多。所以在蒸馏之前先把教师模型训练好比盲目调蒸馏参数更重要。8.2 温度 T 与损失权重要一起调很多实践总结会告诉你“T 通常取 2 到 8”但具体取值要结合任务和模型容量来调整。温度过高教师输出的分布差异会被抹平学生难以学到有效信息温度过低又退化成接近硬标签训练蒸馏失去意义。更好的做法是同时调整 T 和 α。可以先固定 α 为 0.7扫描 T 的取值再固定 T扫描 α。把结果记录成一张小表格选择验证集表现最好的组合。8.3 蒸馏并不一定需要完整的教师模型权重在大模型场景有时我们拿不到完整模型的权重只能通过 API 拿到输出结果。这种场景下依然可以“蒸馏”把输入样本发给教师模型拿到输出和概率分布用这些数据训练学生模型。但这种方式的训练数据成本较高建议先做小规模验证确认收益后再扩大数据量。8.4 日志、评估与实验记录蒸馏实验的参数组合通常比较多建议在代码中记录每一次实验的关键信息T、α、教师模型结构、学生模型结构、训练轮数、最终准确率、推理速度等。这不仅是工程习惯也是排查问题的关键。很多蒸馏实验失败不是因为方法不对而是因为实验条件记录不清导致后续无法复现。8.5 生产环境中的谨慎态度生产环境使用蒸馏模型时不能只关注离线指标还要关注数据的分布漂移。蒸馏模型在训练集上的表现再好遇到分布外的数据也可能失效。建议在上线前做充分的评估包括对抗样本、边界样本、不同业务场景的差异。如果蒸馏模型是自动生成数据训练出来的还需要检查数据里是否存在偏见、重复或有害内容。9. 总结与下一步建议从概念上看蒸馏回答了“怎么让一个小模型学到大模型的能力”这个问题从工程上看蒸馏是模型轻量化、数据效率提升、开放模型能力迁移的重要手段。无论你是做传统 CV 模型还是做大模型微调理解蒸馏的底层逻辑都会对你的技术判断有帮助。本文通过一个完整的 MNIST 知识蒸馏示例演示了 Teacher-Student 架构、软标签、蒸馏损失函数等核心模块。代码结构可以直接复用读者只需要调整数据集和模型结构就能迁移到自己的任务上。接下来如果你想继续深入可以按以下方向学习把示例中的 CNN 换成 Transformer 结构观察蒸馏在不同架构下的表现差异。使用更大的数据集比如 CIFAR-100验证蒸馏在小模型上的收益。研究大模型之间的蒸馏比如从 70B 模型蒸馏到 7B 模型重点观察数据生成、清洗、评估的完整链路。深入学习量化与剪枝和蒸馏组合使用形成一套完整的模型轻量化方案。建议你先把本文的代码跑起来然后尝试改变温度 T、损失权重 α、模型结构这几个变量记录实验结果。多跑几次之后你自然能感受到蒸馏的微妙之处。