Hugging Face提出DiffGate：革新教师指导的策略蒸馏技术

摘要：Hugging Face的研究团队提出了一种名为DiffGate的新方法，旨在解决现有策略蒸馏技术中存在的局部优化与全局推理质量不匹配的问题。DiffGate通过结合Group Relative Policy Optimization (GRPO)与选择性、有界的教师指导，显著提升了模型在代码生成和数学推理任务中的表现。在Qwen3模型上的实验表明，DiffGate在多个基准测试中均表现出色，尤其是在通过率（pass@8）指标上实现了显著提升。

---

背景与挑战

策略蒸馏（Policy Distillation, PD）是一种用于后训练大语言模型（LLM）的常用方法，通过监督学生模型在自身生成的轨迹上的表现来减少传统蒸馏中的训练-测试不匹配问题。然而，现有的策略蒸馏目标大多局限于token级别的局部优化，忽略了推理质量在轨迹级别上的决定性作用。强化学习中的可验证奖励（RLVR），特别是Group Relative Policy Optimization (GRPO)，提供了互补的全局监督，但存在奖励稀疏和信用分配粗糙的问题。

技术突破

Hugging Face提出的DiffGate通过结合GRPO与选择性、有界的教师指导，解决了上述问题。其核心思想是：

• 选择性教师指导：仅对失败的轨迹应用教师监督，并根据组难度进行缩放。
• 平滑边界：防止极端的教师-学生差异主导优化过程。

这种设计使得验证器决定哪些轨迹接收教师指导，而教师在那些轨迹内提供密集的token级别更新方向。

实验结果

在Qwen3-0.6B和Qwen3-1.7B学生模型上的实验表明，DiffGate在代码生成任务中相较于匹配的GRPO方法，avg@8指标分别提升了+1.7和+1.8点，pass@8指标分别提升了+1.6和+5.7点。在数学推理任务中，avg@8指标与GRPO保持接近，而pass@8指标分别提升了+1.1和+3.9点。总体而言，DiffGate在所有四个模型-领域设置中均提升了pass@8指标，展示了其在解决方案覆盖方面的改进。

行业影响与开发者建议

• 对开发者：DiffGate提供了一种更高效的策略蒸馏方法，尤其适用于需要精细化控制的复杂任务。开发者可以尝试将DiffGate集成到现有的训练流程中，以提升模型性能。
• 对行业：DiffGate的提出标志着策略蒸馏技术的进一步发展，为大语言模型在推理任务中的应用提供了新的可能性。未来，DiffGate有望在更多领域和任务中展现其潜力。

技术亮点

• 选择性教师指导：通过仅对失败轨迹应用教师监督，避免了不必要的计算开销。
• 平滑边界机制：防止极端差异主导优化过程，提升了训练的稳定性。
• 性能提升显著：在多个基准测试中均表现出色，尤其是在通过率指标上实现了显著提升。

---

消息来源：Hugging Face Daily Papers (2026-10-03)

—— 完 ——

主题标签： #Hugging Face 关注 #DiffGate 关注 #策略蒸馏 关注 #大语言模型 关注 #强化学习 关注