模型蒸馏评测学生模型变小后错误也会变形一、蒸馏不能只看平均准确率模型蒸馏的目标通常是把大模型能力迁移到小模型上降低推理成本和延迟。评测时如果只看平均准确率很容易漏掉错误类型变化。学生模型可能总体分数接近教师模型但在长尾类别、复杂推理或边界输入上明显退化。模型变小后错误不是简单等比例增加而是会变形。哪些能力保住了哪些能力丢了必须拆开看。二、蒸馏评测要比较教师和学生的错误分布flowchart TD A[评测集] -- B[教师模型预测] A -- C[学生模型预测] B -- D[教师错误集合] C -- E[学生错误集合] D -- F[错误重叠分析] E -- F F -- G[能力退化报告]如果学生模型新增错误集中在某些任务类型就说明蒸馏数据或训练目标没有覆盖好。三、记录每个样本的对比结果row { sample_id: case_001, teacher_correct: True, student_correct: False, category: long_context_reasoning, confidence_gap: 0.34 }样本级记录比总体分数更有价值。后续可以按类别、长度、难度和输入格式切片分析。四、蒸馏数据要覆盖业务分布学生模型学到的是蒸馏数据里的行为。如果蒸馏数据偏向简单样本小模型会在简单问题上表现不错但面对真实业务长文本、噪声输入和多约束任务时掉得很快。还要评估校准能力。学生模型可能比教师模型更自信地犯错。对于需要拒答或置信度阈值的系统校准比单纯准确率更重要。延迟和成本也要一起看。学生模型如果准确率下降一点但延迟下降很多某些场景可能值得如果需要更多重试或人工复核综合收益就未必成立。最后蒸馏后要做回归测试。模型变小不是一次性动作后续数据、教师模型和训练策略变化都会影响学生模型。评测集要保留历史版本才能观察能力是否持续退化。蒸馏目标也要拆开看。只蒸馏最终答案学生模型可能学到表面输出蒸馏中间推理、分类边界或 logits 分布能保留更多教师信息但训练成本和实现复杂度更高。选择哪种目标要根据业务任务决定。数据温度会影响学生模型。教师输出太确定学生可能过拟合硬标签教师输出保留概率分布学生能学习类别之间的相似性。分类任务、生成任务和检索重排任务的蒸馏策略不应该完全相同。还要关注部署形态。蒸馏模型通常为了低延迟上线但如果需要额外前处理、后处理或多模型级联端到端延迟可能没有想象中低。评测必须包含完整服务链路。最后学生模型失败样本可以反向改进蒸馏数据。把学生错、教师对的样本收集起来按类别补充训练比盲目扩大数据量更有效。蒸馏评测还要看鲁棒性。学生模型在干净样本上接近教师不代表在拼写错误、格式噪声、长输入截断和分布外样本上也稳定。小模型容量更低通常更容易在边界输入上退化。如果蒸馏用于线上服务还要评估拒答能力。教师模型能判断证据不足并拒答学生模型可能为了追求拟合答案而更愿意猜。对安全或知识问答场景错误拒答和错误回答都要分开统计。还要分析输出长度。学生模型可能生成更短答案导致成本下降但信息缺失也可能因为不稳定生成冗长解释抵消推理成本优势。评测时要把质量、长度和延迟放在一起看。最后蒸馏模型上线要灰度。先在低风险流量中比较人工反馈、失败率、延迟和成本再逐步替换。离线指标接近不代表线上分布也接近。五、总结模型蒸馏评测要看平均分也要看错误分布、长尾任务、置信度校准和端到端成本。学生模型变小后错误会重新分布。只有知道能力在哪里丢失才能判断蒸馏是否真的可用。