多教师在线蒸馏提升域内能力，却难守住域外泛化

摘要：研究系统揭示多教师在线策略蒸馏（OPD/MOPD）的泛化盲区：模型在数学、编程、智能体和长上下文任务上几乎复现教师的域内成绩，但域外表现反而较基础模型下降2.45%至16.25%，组合任务更落后最佳教师18.19%至24.34%。实验进一步表明，教师能力不足与训练数据覆盖不足共同造成能力巩固缺口，而几何修补和保留基础模型能力的回放机制可在尽量维持域内成绩的同时改善域外泛化。

---

研究结论：域内接近教师，不代表继承了泛化能力

多教师在线策略蒸馏（Multi-teacher On-Policy Distillation，MOPD）试图把多个教师模型的能力压缩进单一学生模型，但这项研究指出一个容易被常规基准掩盖的问题：学生模型可以在监督分布内（in-distribution，IND）几乎达到教师水平，却没有真正继承教师面对分布外样本（out-of-distribution，OOD）时的泛化能力。

基于 Qwen3 模型，研究覆盖数学推理、代码生成、智能体任务和长上下文能力。实验结果呈现出明显的“域内高分、域外退化”模式：

• OPD 与 MOPD 的域内成绩达到教师域内成绩的 96.04%—102.73%；
• 在外推型 OOD 任务中，两种方法的成绩仍比基础模型低 2.45%—16.25%；
• 在三组组合型任务中，MOPD 虽然改善了域内表现，却比最佳教师低 18.19%—24.34%；
• 与强化学习基线相比，MOPD 平均减轻了 OOD 遗忘，但并未彻底消除它。

这意味着，仅用教师在 IND 数据上的准确率判断蒸馏成功，会系统性高估能力迁移的真实程度。

技术机制：蒸馏成功依赖教师输出，更依赖数据边界

在线策略蒸馏（OPD）与传统离线蒸馏的核心差别，在于学生从自身当前策略产生的轨迹上接受监督。学生对教师输出进行学习时，梯度会随着学生分布变化而更新，因此能够缓解离线蒸馏中的曝光偏差和分布错配。

但这一机制不会自动突破教师监督数据的边界。可以用一个简化目标描述其限制：

[ \theta_{t+1}=\theta_t+\eta g(\text{teacher distribution},\text{student support},D) ]

其中，(g) 是策略梯度或蒸馏更新，(D) 是实际训练数据及其覆盖范围。学生只能在教师分布、学生可达轨迹和训练样本交集上形成有效更新。教师在 IND 数据上很强，并不意味着其在 (D) 之外仍具有可迁移且稳定的优势。

研究将瓶颈拆成两部分：

1. 教师能力瓶颈：如果教师本身缺少目标能力，学生无法从其输出中学习缺失的决策边界。
2. 数据覆盖瓶颈：即使教师具备目标能力，如果训练轨迹没有覆盖相应的组合、变化或长程条件，蒸馏梯度仍无法建立正确映射。

实验中同时缓解这两个瓶颈后，OOD 遗忘被消除，并出现超过教师的潜力。这说明问题不宜简单归因于“蒸馏算法不够强”：若监督源本身能力不足，或训练分布没有触及目标任务，蒸馏可能只是把已有行为压缩得更紧凑。

更新几何：蒸馏更新更小，却也更集中

参数更新分析揭示了 OPD/MOPD 与强化学习之间的结构差异。蒸馏更新的平均幅度更小，谱能量也更集中；MOPD 中不同教师还会形成更多共享更新结构。

这解释了蒸馏为何容易产生紧凑但狭窄的策略：一方面，教师信号抑制了探索噪声，使更新集中于高置信行为；另一方面，较小的更新半径和共享方向会进一步降低学生探索新策略的概率。压缩本身并不等于泛化，反而可能把教师在训练分布内的局部最优稳定复制下来。

强化学习更新通常更分散，对未见状态保留更多探索方向，却也可能在训练中破坏原有能力。因此，OPD/MOPD 相对 RL 基线的平均 OOD 表现更好，并不意味着它已经解决泛化，而是说明其更新方式相对温和。

评测解读：百分比差距背后仍有边界

论文给出的差距足以否定“IND 接近教师即可证明能力巩固”的判断，但这些百分比仍需谨慎解读。不同任务中的分数尺度、教师选择方式和相对比较对象可能不同，区间宽度不能直接视为统一的绝对性能差。

此外，以下问题需要结合全文验证：

• Qwen3 的具体参数规模、师生模型组合以及各能力任务的数据构造；
• OOD 测试是否与教师训练数据真正隔离，是否存在任务模板或教师生成痕迹泄漏；
• 组合任务如何定义，基础模型、教师与学生的训练预算是否严格匹配；
• 多随机种子下的置信区间、显著性检验及不同教师组合的方差；
• “超过教师”是特定 OOD 指标上的结果，还是能够跨模型规模稳定复现。

方法改进：几何修补配合基础能力回放

基于更新几何分析，作者提出两类干预。

几何修补旨在修正学生更新中缺失或过弱的方向，而不是继续在原蒸馏损失上堆叠训练量。对于多教师场景，可从各教师的共享更新分量中识别共同能力轴，再对泛化相关分量进行定向补偿。

保留基础模型能力的回放则把基础模型原策略产生的轨迹重新纳入训练目标，防止学生因持续追随教师而在 OOD 区域发生灾难性遗忘。工程上，回放数据必须覆盖基础模型原本擅长、但教师未必稳定的样本，而不能只是重复监督集。

论文报告这两种方法可以改善 OOD 表现，同时基本保持 IND 成绩。不过，回放会引入额外 rollout、训练样本存储和混合损失调度成本；几何修补还需要可靠估计更新方向，计算与诊断复杂度可能高于普通蒸馏。

落地建议：把 OOD 保留纳入模型合并流程

对于正在使用多教师蒸馏、模型合并或能力迁移流水线的团队，这项研究提供了直接可用的工程建议：

1. 将训练集与测试集按能力组合、输入分布和任务难度分层，而不只随机划分样本。
2. 分别报告教师的 IND/OOD 成绩、基础模型的 OOD 成绩和学生的 OOD 成绩，避免单一平均分掩盖退化。
3. 为数学、代码、工具调用、长上下文等能力建立组合型测试集，专门检验能力是否能够重组。
4. 在蒸馏损失中加入基础模型或旧版本策略的回放项，并为回放比例设置独立验证集。
5. 对多教师合并检查更新谱与教师间方向重叠，识别高度冲突和过度集中的更新分量。

对模型压缩团队而言，核心验收标准不应只是“学生复现了教师的 IND 分数”，而应是“学生是否在教师覆盖之外保留了基础能力，并能形成新的能力组合”。

---

消息来源：Hugging Face Daily Papers (2026-11-03)

—— 完 ——

主题标签： #在线策略蒸馏 关注 #多教师蒸馏 关注 #分布外泛化 关注 #Qwen3 关注 #模型合并 关注