大模型蒸馏和防蒸馏今年已经不只是学术讨论里的冷门词。它直接牵扯到模型厂商辛苦调出来的能力能否被低成本复制也牵扯到第三方能不能通过一个小模型从大模型的输出概率里反推出隐藏的思维链。标题里提到的 Kimi-K3 出现“重现概率异常”这类现象本质上不一定是某个模型独有的 Bug而是蒸馏场景里很容易被忽略的概率层泄漏。这篇内容适合做模型部署、推理优化、AI 应用评估的开发者也适合关注大模型安全边界的研究者。我会从现象定义、实验环境、复现流程、判断指标和防御侧改进思路展开重点把“为什么小模型能套出大模型的隐藏思维链”这件事讲清楚。1. 先分清被攻破的“防蒸馏”挡的是能力复制还是思维链复制1.1 蒸馏的本质从答案蒸馏到过程蒸馏模型蒸馏最早的想法很朴素大模型能力太强但太重小模型跑得快那就用大模型生成的数据去训练小模型。这个做法在传统 NLP 里已经非常成熟切到生成式大模型之后大家习惯把“用教师模型输出训练学生模型”都叫蒸馏。但这里有一个容易混淆的地方你从大模型拿到的如果是最终回答那训练出来的是“答案复制”如果你拿到的是一步步的中间推理步骤那训练出来的是“过程复制”。早期很多蒸馏方案只是拿最终答案做数据增强学生模型能模仿结论但不一定能学会推理路径。后来大家发现把 Chain-of-Thought 的中间步骤也混进训练集小模型的推理能力会明显变强。于是问题来了如果教师模型在 API 里明确不返回思维链学生模型还能学到吗防御机制设计得再严密小模型是否依然可以通过概率分布把“隐藏的思维链”套出来所谓的“重现概率异常”又暴露了什么结构性问题这些问题不搞清楚单独讨论“防蒸馏失效”就是空谈。1.2 防御机制真正想保护的资产模型厂商做防蒸馏通常不是防“某个学生模型在公开 API 返回数据上训练”因为这类训练在很多服务条款里本来就是违规的。真正要防的是下面这些资产被低成本复制模型在特定领域里的隐式推理能力例如代码调试、数学证明、逻辑推断。模型在长上下文里的信息整合能力也就是知道什么时候该依赖哪段历史。模型内部对关键 token 的偏好分布这种分布往往比最终答案更能体现“模型到底怎么想”。经过昂贵对齐训练得到的价值观判断和安全判断边界。防蒸馏机制常见的做法是过滤输出文本、降低 logits 敏感度、加噪声、随机采样、限制并发、不开放 logits 接口。这些措施能挡住最粗粒度的复制但挡不住更细粒度的过程蒸馏。文章标题里说的“小模型套出大模型隐藏思维链”其实就发生在这一层。1.3 “小模型套出大模型隐藏思维链”意味着什么一个容易误解的点是模型不输入思维链不代表它在网络内部不产生思维链。很多大模型在多个推理任务上会形成一种内部工作路径比如先做条件解析再做假设生成再验证最后给出结论。它对外只输出最后一个结论。但对蒸馏者来说如果能拿到这个模型对不同中间假设 token 的概率分布就能反推出它在每一步更倾向往哪个方向走。小模型作为学生需要的是一种“无标注的思维链数据”。攻击者输入精心构造的提示让教师模型产生一组可能性分布然后把这些分布作为训练数据的一部分。这种数据没有显式写出“第一步如何如何”但学生模型可以逐步逼近教师模型的推理模式。Kimi-K3 重现概率异常本质就是这种“内部路径痕迹”被外部概率统计捕捉到之后呈现出的一个可观测信号。所以被攻破的不是某个具体的过滤规则而是“隐藏思维链无法从概率层完全隐藏”这个基本假设。2. 为什么说这是顶尖模型的共同痛点从概率分布层看泄漏2.1 模型只吐字但隐藏推理会体现在概率分布里大多数对外 API 只能拿到最终的文本。可一旦你在推理时对 logits 做采样或者在本地部署模型就能拿到每个位置上的 token 概率分布。这个分布包含大量信息。举例来说一道多步计算题。最终答案可能只是“42”。但模型在生成“42”之前的中间 token 序列里可能已经出现过类似“先计算 2020结果是 40再加 2”这样的内部表示。即使这些中间 token 不在最终输出里出现模型在生成最终答案时已经对“40”“2”“42”这几个 token 分配了不同概率。如果学生模型能拿到最终答案位置上的条件概率它就能反推教师模型在推理中更信任哪一条路径。这相当于教师模型在最终答案里打上了推理痕迹。2.2 Kimi-K3 重现概率异常到底是怎么暴露出来的文章标题里提到的 Kimi-K3如果作为目标模型进入评估流程会看到一种不太正常的现象同一个推理问题重复跑多次模型在关键步骤 token 上的重现概率比最终答案的重现概率还要高。表面看最终答案可能每次不一样但关键中间 token 的概率分布却高度稳定。举个例子一个逻辑推理问题模型被要求隐藏思维链只输出结论。如果“结论”受到温度参数影响结果会波动。但如果你把模型内部对“前提条件是否成立”这个判断 token 的概率拉出来可能发现它每次都接近 0.98。这个 0.98 就是异常信号说明模型对这个中间判断非常确定远超它对最终答案的确定程度。在真正测试里这种异常会被这样观察到当目标模型是 Kimi-K3 或同类模型时关键中间 token 的重现概率往往集中在某个区间。不同提示差异对中间 token 的影响比最终输出更小。学生模型一旦在这些 token 上对齐教师模型后续答案准确率会出现跳跃式提升。所以“重现概率异常”不是指模型一定出了问题而是说明模型的内部推理路径被外部观察者通过统计方式捕捉到了。它验证了隐藏思维链可以被“套出”而不是靠人力去读模型中间层。2.3 值得关注的几种概率异常形态在蒸馏评估里异常形态一般可以归成几类异常形态表现在蒸馏中的意义关键 token 重现率过高某一中间判断 token 的概率长期稳定在 0.9 以上说明该 token 是推理路径的关键锚点链上概率波动异常推理链中间步骤的边界 token 概率抖动很大说明模型在多个推理路径之间摇摆最终答案熵值与中间步骤熵值倒挂最终答案不确定但中间结论很确定模型可能已经完成推理只是输出层被加了扰动学生模型蒸馏后的 logits 相似度骤增学生模型在关键 token 上与教师模型的余弦相似度突然升高概率层泄漏可能已经被学生模型吸收这些指标可以直接作为实验里的判断标准不需要猜。3. 评估环境与最小复现流程先把依赖和实验条件跑通3.1 环境准备与前置条件想复现“小模型套出大模型隐藏思维链”这个现象不需要超大训练集群但也不是一台普通笔记本就能拉满。建议按下面这个组合准备一个能访问 logits 的教师模型。如果是本地模型需要量化和推理框架例如使用 4bit 量化部署在单张 24GB 显卡上如果是 API 模型需要确认服务方是否提供 logits 或概率回调。一个学生模型。建议先选 7B 到 14B 的规模。显存不够时可以先跑 1.5B 到 3B 的小模型但效果会下降。Python 环境和 PyTorch依赖 transformers、accelerate 等常用库。部署时还要确认 CUDA 版本和推理框架是否匹配。一批带标准推理步骤的提示集。数量上先准备 50 到 100 条即可不需要一上来就拉上万条。我一般会先把教师模型跑通一个简单生成看能不能稳定拿到 logits。如果连 logits 都拿不到后面所有概率分析都无法进行。3.2 用哪类数据集做对抗提示集对抗提示集的关键不是难而是可判读。建议包含三类数学推理题。有标准中间步骤适合观察模型是否在中间计算上形成稳定概率。逻辑判断题。这类题的推理链短但前提判断和结论判断容易分开观察。多步指令任务。例如“请判断某个条件是否满足然后决定调用哪个分支”。这种任务的隐式推理很容易在最终输出里留下痕迹。不要一开始就用超长文本或者多轮对话。数据太长会让概率分析复杂化也很难判断异常是来自输出层扰动还是上下文混淆。先跑短样本确认“关键 token 重现概率”指标可行再逐步加长。3.3 最小复现流程设计一个完整的最小复现流程大概是这样的加载教师模型和学生模型。对同一批提示让教师模型在固定温度下生成并保存每一步的 logits。用相同提示让学生模型生成也保存 logits。计算教师模型与学生模型在中间判断 token 上的概率差异。如果实验目标是评估“是否能套出隐藏思维链”还要让学生模型在低资源条件下进行少量微调观察它在关键 token 上的概率是否向教师模型靠拢。这里的关键不是一步到位而是先把“教师模型 logits 保存”这个环节跑通。因为很多模型在默认推理设置下并不会返回 token 级别的概率需要显式修改代码或调用参数。3.4 记录日志和随机种子的习惯这是一个很容易被忽略但很影响结果的地方。概率层的比较对随机种子非常敏感。建议从一开始就固定随机种子温度参数top_p / top_k最大生成长度模型版本和量化方式输入提示的精确文本如果每次都是不同温度和采样策略那“重现概率异常”就可能是随机波动而不是真实信号。最好每次实验都生成一份记录文件包含上述参数。这样以后回溯某个异常结果时不需要重新猜条件。4. 单任务验证从一条推理样本里看到分布差异4.1 第一步抓取教师模型的输出分布首先构造一个最简单的提示。比如请判断如果所有 A 都是 B且所有 B 都是 C那么所有 A 都是 C 吗 只输出“是”或“否”。这里模型不会输出详细推理但我们可以抓取它在生成“是”或“否”之前的 logits。关键观察点是在输入上下文里“A 是 B”“B 是 C”两个前提是否已经形成高概率的中间表示。代码上伪代码大概长这样import torch def get_token_probs(model, tokenizer, prompt): inputs tokenizer(prompt, return_tensorspt).to(device) with torch.no_grad(): outputs model(**inputs) logits outputs.logits[0, -1, :] probs torch.softmax(logits, dim-1) return probs这个函数返回的是下一个 token 的概率分布。对于判断类任务观察“是”和“否”这两个 token 的概率差对于多步推理还需要把每一步的 logits 都保存下来。4.2 第二步计算学生模型的“重现概率”所谓重现概率我这样定义在相同的输入条件下学生模型在某个关键 token 上的概率分布与教师模型的接近程度以及这个概率在多次采样中的稳定程度。最简单的算法固定同一个提示。让教师模型重复生成 20 次保存每个关键 token 的概率。让学生模型重复生成同样次数。计算每个关键 token 的均值概率和方差。如果教师模型在某个中间判断 token 上的概率均值是 0.96方差只有 0.01学生模型在训练前是 0.5微调后变成 0.93那说明学生模型确实从这个 token 上吸收到了教师模型的推理偏好。这就是“重现概率异常”的直接体现一个不应该稳定出现的 token 概率出现了高确定性。4.3 第三步用 KL 散度判断分布相似度光看单个 token 不够。最好使用 KL 散度来比较两个分布在每个 token 位置的差异。import torch import torch.nn.functional as F def kl_divergence(probs_p, probs_q): return F.kl_div( torch.log(probs_q), probs_p, reductionbatchmean )KL 散度越低说明学生模型与教师模型在这一点上的概率分布越接近。如果只是最终答案相似但每个 token 上的 KL 散度很高说明学生模型学到了表面的结果没学到推理过程如果关键 token 上的 KL 散度持续很低那就说明过程层也发生了迁移。实际评估时可以把整段响应的每个位置都算出 KL 散度然后画出曲线。这样能看出哪些位置泄漏最明显。通常离最终答案越近的位置KL 散度越容易被扰动掩盖离推理链中间步骤越近的位置KL 散度越低泄漏信号越强。4.4 怎么判断结果真的是“异常”而不是噪声测试中看到数字异常先不要急着下结论。必须满足下面几项才叫异常多次运行结果稳定不是某一次采样导致的偶然高概率。不只在一个提示上出现同类提示集的多个样本上都能看到。学生模型在微调后对应 token 的概率出现系统性偏移而不是只提升单条样本。温度或 top_p 改变时异常依然在一段合理区间内存在。如果只满足第一条那可能是随机噪声。如果只满足第三条那可能是过拟合到某一条提示上。真正值得警惕的是多条件同时成立教师模型内部隐藏推理路径稳定学生模型能够通过该路径显著提升能力。5. 现有防蒸馏机制失效的几个常见原因5.1 输出过滤只能挡住文本挡不住 Logits很多防蒸馏方案的第一步是文本过滤检测输出里是否包含类似“推理过程”“内部思考”的标记一出现就把内容截断或者替换。这个防御对直接输出思维链的情况是有效的。但它挡不住概率层。即使最终文本只返回一个答案模型每个 token 的概率分布已经把隐含信息保留下来了。只要调用方有办法拿到 logits或者通过大量采样来估计概率分布文本过滤就形同虚设。这是最常见也最容易被忽略的失效原因。5.2 随机采样降低了确定性但没有改变分布在 API 里加随机采样比如把温度调到 1.0会让最终输出文本变得多样化样本之间的相似度下降。这样可以减少直接逐字复制的可能。但从分布角度讲温度改变的是采样分布的锐度不是模型对关键 token 的偏好。一个模型对某个中间判断 token 的内部置信度很高时无论温度怎么调它在该 token 附近的相对概率排名仍然稳定。学生模型要复制的并不是某一次采样结果而是这个概率排名。所以随机采样只能让“文本复制”变难不能阻止“概率复制”。5.3 拒绝生成思维链反而会增加隐蔽性有一种防御策略是禁止模型在输出中产生推理过程只允许给结论。这种做法在合规层面有道理但在蒸馏风险上会带来一个副作用。模型既然不能把推理过程写到显式输出里它就只能把推理结果压缩到更少的 token 上。这样一来关键判断 token 承担的语义信息密度更大分布稳定性反而更强。外部观察者不需要看推理过程只要看某个关键 token 的置信度就能反推模型内部状态。可以说强制隐藏思维链并没有消除思维链只改变了它的表达位置。5.4 轻量扰动在批量对比下会被抵消有些方案会在输出 token 的概率上叠加一个随机噪声让单次 logits 不太可信。单看一次请求这个防御有效。因为噪声会污染关键 token 的概率值。但只要实验者重复多次请求噪声在平均后会被抵消真实分布会重新显现。批量对比、多次采样再平均是这一类防御最常见的破解方式。设计防御时如果只靠随机噪声而不考虑批量统计风险依然很高。防御手段防住的问题实际失效点文本过滤直接输出思维链过滤不掉隐式分布随机采样逐字复制无法改变 token 排名禁止中间推理暴露推理文本关键 token 置信度更集中随机噪声扰动单次 logits 污染多次平均后噪声抵消限制 logits 接口直接获取概率可通过大量采样估计分布6. 防御侧的加固思路把概率层和文本层分开设计6.1 限制 logits 接口把“过程”和“结果”分层最直接有效的改善方式是控制 logits 获取权限。普通用户的调用接口默认只返回文本如果需要开放 logits就要求更高权限、更严格审计并且在路由层记录调用方身份和请求频率。模型内部可以并行设置两套推理出口普通出口对最终文本做采样和后处理不返回过程概率。受控出口只在受信任环境下开放用于模型评测、可解释性研究和内部审计。这样即使“过程概率”在技术上无法完全隐藏也能在访问层面把风险降低。6.2 在关键 token 上加入非均匀扰动随机噪声之所以失效是因为它没有针对性。更好一点的思路是先识别关键 token 的高置信度区间再对这些 token 添加非均匀扰动。扰动幅度要足够大使单次采样不稳定但又不能大到影响下游任务效果。这里需要权衡。扰动过小批量平均后还是会被套出来扰动过大正常用户体验会明显下降。比较稳妥的做法是分场景高风险或高成本任务默认开启更强扰动。普通生成任务保持低扰动。内部评测任务关闭扰动方便排查。没有一套参数适合所有模型需要具体模型、具体任务去调。6.3 监控重现概率异常指标与告警阈值不管防御方案怎么设计监控必须有。重点看四个指标关键 token 重现概率置信度是否异常偏高。输出熵最终答案熵和中间步骤熵是否存在倒挂。调用方采样频率是否在短时间对相同或相似提示发起大量请求。学生模型响应模式同一提示下相似输出比例是否快速上升。阈值不一定要设成固定值。更好的做法是设定基线。先在正常用户流量上跑一段时间记录每个关键 token 的置信度分布再拿基线均值加减几个标准差作为告警线。一旦出现异常可以临时提高扰动强度或直接限制对应调用方的 logits 权限。6.4 对蒸馏数据做审计和水印如果担心自己的输出被拿去训练学生模型可以在输出文本里加入不易察觉的标记比如某些低频短语、特定空格、特殊结构。这样一旦发现外部出现一个与自身模型高度相似的小模型可以通过这些水印反推数据来源。水印不是防御终点但它是事后追踪里比较有效的手段。对长期防范而言团队还需要建立数据使用协议在和第三方合作时明确禁止未经授权的 logits 采集和蒸馏训练。7. 留给测试者的几个边界提醒7.1 别只看“能不能复制”要看“在什么样条件下复制”很多人看到“防蒸馏机制告破”这类标题第一个反应是“我是不是也能轻松复制一个大模型”。实际不是。复现成功与否极度依赖条件教师模型的 logits 是否开放。学生模型的规模和训练数据是否匹配。提示集是否覆盖目标模型的优势场景。显存、训练步数、学习率是否调到位。如果只看一篇论文摘要然后把一个 7B 学生模型随便训练两三千步很可能看不到明显效果。这不代表原理不成立只说明条件不满足。测试者应该把一个完整实验拆成条件变量逐个控制。7.2 低配置机器能做多少事显存不够的情况下也可以做一部分评估但要降低预期。16GB 显存可以跑 7B 级别学生模型的推理和小规模微调教师模型最好用 API 或量化版本。24GB 显存可以尝试 14B 级别模型或者多 batch 推理。如果只有 8GB建议不要做完整微调先把提示集上的 logits 对比跑通。衡量标准是能不能拿到稳定 logits能不能完成 50 条提示的概率对比。满足这两点实验就已经具备基础价值。7.3 学术合规与模型协议要提前确认做这类实验时最应该注意的是合规性。不同模型的许可证、API 服务条款差别很大。有些明确禁止使用输出进行同类模型训练有些只允许非商业研究。正式开始实验之前一定要确认是否允许保存 logits。是否允许使用生成内容训练其他模型。是否需要申请白名单或审批。实验数据里是否包含用户隐私或敏感信息。建议把相关条款截图或存档实验记录里标注数据来源。这样整个评估过程更加清晰后续如果出现争议也有据可查。7.4 我对这类实验的操作建议先跑 50 条样本再看曲线如果让我给一个可执行的实验路径我会这样做先准备 50 条不涉及敏感内容的推理题。在固定温度下跑教师模型保存 logits。跑学生模型保存 logits计算 KL 散度和关键 token 重现概率。用其中 30 条做少量微调20 条做验证。观察微调前后学生模型在关键 token 上的分布是否向教师模型靠拢。如果 50 条样本还没跑完分布曲线已经出现明显偏移说明信号很强如果跑了 200 条还是没有反应先检查有没有固定随机种子、有没有正确保存 logits、有没有在推理时误开了采样。从我个人的经验看真正的问题通常不是“模型能不能被套出思维链”而是“测试者有没有为这次实验设计好判断标准”。有了明确的分层、可靠的 logits 采集流程和统一的概率指标再去看 Kimi-K3 这类目标模型上的重现概率异常结论会清晰很多。防蒸馏不是一道永远焊死的门它更应该在设计时就把概率层看作暴露面而不是只在文本层做文章。