Hugging Face提出NP-OPD：革新政策蒸馏技术，提升AI模型学习效率

摘要：Hugging Face的研究团队提出了一种名为Negative-Policy On-Policy Distillation (NP-OPD)的新方法，通过引入低性能负策略作为参考信号，显著提升了政策蒸馏技术的学习效率。NP-OPD通过在训练过程中持续暴露负策略生成的token，使模型在教师监督下同时接收到负信号，从而有效抑制负策略偏好并提升学生模型性能。实验表明，NP-OPD在多个模型规模、生成模式和推理领域均表现出色，为AI模型训练提供了新的技术路径。

---

背景与动机

在AI模型训练中，政策蒸馏（On-Policy Distillation, OPD）是一种常见的后训练方法，通过学生模型在自身轨迹上从更强大的教师模型获取token级别的监督来提升性能。然而，当教师模型的输出与学生模型的分布重叠有限时，正向指导可能无法提供足够的学习信号。

技术创新

Hugging Face提出的NP-OPD通过引入一个低性能、低能力的负策略作为负参考信号，弥补了传统OPD的不足。NP-OPD在训练过程中将负策略生成的token持续暴露给学生模型，使其在教师监督下接收到负信号，从而有效抑制负策略偏好并提升学生模型性能。

主要特点

• 负策略引入：在训练过程中引入负策略生成的token，提供明确的负信号。
• 保持教师监督：在引入负信号的同时，保留了OPD中使用的教师监督机制。
• 广泛适用性：NP-OPD在模型规模、生成模式和推理领域均表现出色。

实验结果

通过大量实验，NP-OPD在多个基准测试中均表现出色：

• 模型规模：在不同规模的模型上均能提升性能。
• 生成模式：适用于多种生成模式，包括文本生成和图像生成。
• 推理领域：在推理任务中表现优异，尤其是在复杂推理场景中。

行业影响

NP-OPD的提出为AI模型训练提供了新的技术路径，特别是在处理复杂任务和长尾数据分布时具有重要意义。该方法不仅提升了模型的学习效率，还为AI智能体在多模态任务中的表现提供了新的可能性。

开发者建议

• 尝试应用NP-OPD：在现有OPD框架中引入负策略，评估其对模型性能的提升效果。
• 关注后续研究：关注Hugging Face在NP-OPD上的进一步研究与应用案例。
• 参与开源社区：访问https://github.com/naver-ai/np-opd，贡献代码或提出改进建议。

---

消息来源：Hugging Face Daily Papers (2026-10-06)

—— 完 ——

主题标签： #Hugging Face 关注 #政策蒸馏 关注 #AI训练 关注 #负策略 关注 #模型优化 关注