Hugging Face提出Δ-MOPD框架：革新多教师策略蒸馏技术

摘要：Hugging Face的研究团队提出了一种名为Δ-MOPD的新方法，用于多教师策略蒸馏（MOPD）。该方法通过转移教师模型的教师-基线对数差异，并将其重新锚定在学生的冻结初始化上，显著提升了模型性能。实验结果表明，Δ-MOPD在多个基准测试中表现优异，尤其在多教师信号组合的场景中，其性能超过了传统的端点监督方法。这项研究为智能体策略优化和知识迁移提供了新的技术路径。

---

背景与动机

多教师策略蒸馏（MOPD）是一种将多个教师模型的知识迁移到学生模型的技术，广泛应用于智能体策略优化和知识迁移领域。然而，传统的MOPD方法通常将教师的端点策略直接迁移，这会混合教师模型在训练后发生的变化以及其基线偏好，可能导致性能瓶颈。

Δ-MOPD方法

Hugging Face的研究团队提出了Δ-MOPD方法，通过以下方式改进传统MOPD：

• 教师-基线对数差异转移：Δ-MOPD转移教师模型的教师-基线对数差异，而不是直接迁移端点策略。
• 重新锚定学生的冻结初始化：将转移的对数差异重新锚定在学生的冻结初始化上，确保学生模型的学习过程更加稳定和高效。

实验结果

实验结果表明，Δ-MOPD在多个基准测试中表现优异：

• 多教师信号组合：在三个教师信号组合的场景中，Δ-MOPD在数学基准测试中超出端点监督方法4.11个百分点，在五个基准测试中超出1.95个百分点。
• 双教师信号组合：在两个教师信号组合的场景中，Δ-MOPD与端点监督方法的准确性相当。
• 路由策略：在分阶段路由策略下，Δ-MOPD在两个阶段顺序中均实现了更高的平均性能，并将观察到的顺序差距从10.50点降低到6.42点。在交错路由策略下，两种目标的表现相当。

行业影响与开发者建议

Δ-MOPD的提出为智能体策略优化和知识迁移提供了新的思路，尤其在以下方面具有重要意义：

• 多教师信号组合的优势：Δ-MOPD在多教师信号组合的场景中表现尤为突出，开发者可以充分利用这一优势，提升模型性能。
• 独立设计轴：目标构建是MOPD中的一个独立设计轴，与教师选择互补。开发者可以根据具体需求，灵活调整目标构建策略。
• 技术路径拓展：Δ-MOPD为智能体策略优化和知识迁移提供了新的技术路径，开发者可以参考这一方法，探索更多创新应用。

---

消息来源：Hugging Face Daily Papers (2026-10-07)

—— 完 ——

主题标签： #Hugging Face 关注 #策略蒸馏 关注 #多教师模型 关注 #智能体优化 关注