知识蒸馏(Knowledge Distillation, KD)是将参数量大、能力强但部署成本高的「教师模型(Teacher)」所掌握的知识与行为模式,迁移到参数更小、推理更快且显存占用更低的「学生模型(Student)」中的模型压缩与能力迁移技术。
早期研究由 Hinton 等人在 2015 年系统提出:相比只给学生看「非 0 即 1」的硬标签(Hard Labels),教师模型输出的概率分布(Soft Targets)包含了类别之间的细粒度相似关系(即「暗知识」Dark Knowledge)。在大语言模型时代,知识蒸馏进一步演化出词表 Logits 蒸馏与合成推理轨迹蒸馏两条工程主线。
核心数学直觉:Soft Targets 与温度系数
在分类与自回归词表预测任务中,教师模型通过带温度系数 T 的 Softmax 生成平滑概率分布:
pi=exp(zi/T)∑jexp(zj/T)
其中 zi 是第 i 个候选 token 的未归一化 Logit。温度 T>1 会放大次优候选的相对权重,使学生模型学到教师在多个合理续写之间的权衡结构。经典蒸馏损失将真实标签交叉熵与教师分布 KL 散度加权组合:
ℒKD=α ℒCE(y,qS)+(1−α)T2 DKL(p(T)T∥q(T)S)
其中 T2 用于补偿温度缩放对梯度幅值的衰减,使两项梯度在同一数量级内协同更新。
大模型时代的三种主流蒸馏范式
| 范式 | 传递信号 | 典型适用场景 | 核心权衡 |
|---|---|---|---|
| Logits / 分布级蒸馏 | 教师每步词表概率或 Top-K logits | 开源同构或相近词表模型(如将大模型压缩至同系列 7B/8B) | 信息密度最高、梯度平滑,但需访问教师权重并处理跨词表对齐 |
| 序列级 / SFT 蒸馏 | 教师生成的完整输入—输出文本对 | 跨架构、闭源 API 或本地轻量模型部署(SFT 直接微调) | 实现门槛最低、不依赖相同词表,但仅见离散样本,易受教师输出风格偏置 |
| 推理轨迹(CoT / Trace)蒸馏 | 教师的完整慢思考草稿 + 可验证正确率过滤的答案 | 将 推理大模型 能力迁移至 1.5B–32B 小模型(如 DeepSeek-R1-Distill 系列) | 通过拒绝采样过滤掉错误推理过程,往往以较低算力获得极高数学/代码推理收益 |
工程实践与合规边界
- 必须配合验证过滤:纯盲从教师输出的「无脑模仿」容易放大幻觉。对于数学、代码和结构化任务,通常先由规则校验器或单元测试筛选正确轨迹(Rejection Sampling),再喂给学生模型,避免把教师的偶发错误固化进小模型权重;
- 蒸馏与强化学习的互补:实证表明(如 DeepSeek-R1 技术报告中的小模型消融),对小尺寸模型直接做大规模推理轨迹蒸馏,往往比从零用 RLVR/GRPO 纯自发探索起效更快;在此基础上再做轻量强化学习,可进一步拔高上限;
- 跨词表(Cross-Tokenizer)工程:当教师与学生使用不同分词器时,做 Logits 蒸馏需引入词对齐(如动态规划对齐字符边界或共享子词交集),否则序列级蒸馏通常是更稳妥的工程方案;
- 模型协议与条款约束:闭源商业模型服务条款往往限制使用 API 输出训练竞品基座模型;企业实践中使用蒸馏前,需明确核查上游模型的开源协议(如 Apache-2.0、MIT)或商业授权边界,优先选用允许衍生再训练的开放权重模型或自有教师模型。
进一步阅读
- Hinton et al. (2015), Distilling the Knowledge in a Neural Network:https://arxiv.org/abs/1503.02531
- DeepSeek-AI (2025), DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(含推理轨迹蒸馏至 Qwen/Llama 小模型实验):https://arxiv.org/abs/2501.12948