Hugging Face发布VASPO：革新强化学习策略优化方法

摘要：Hugging Face推出了一种名为VASPO（Value-Augmented Self-Distillation Policy Optimization）的新方法，用于优化强化学习中的策略。该方法通过结合特权价值估计与自蒸馏技术，在学生生成的提示上同时评估自教师和评论家，从而实现更精准的优势计算与优势选择。实验表明，VASPO在六个数学推理基准测试中显著提升了Qwen3-4B和OLMo3-7B模型的平均准确率，尤其在Knights and Knaves任务中表现最佳，展示了其在提升推理模型性能方面的潜力。

---

技术机制剖析

VASPO（Value-Augmented Self-Distillation Policy Optimization）是一种结合特权价值估计与自蒸馏技术的强化学习策略优化方法。其核心机制包括：

1. 特权信息与自教师指导的协同作用：

   • 特权信息在生成响应的后期增强了评论家对价值预测的准确性。
   • 自教师指导在生成初期较强，中期下降，后期反弹，形成互补的动态特性。

2. 评论家与自教师的协同评估：

   • 评论家基于预测的延续回报计算token级别的PPO优势。
   • 自教师通过有界概率比率调节选定的正优势，从而实现更精细的优势选择。

3. 优势计算与策略更新：

   • VASPO通过在学生生成的提示上同时评估自教师和评论家，优化策略更新方向。

工程权衡与实测表现

• 优势：

  • VASPO在六个数学推理基准测试中，Qwen3-4B和OLMo3-7B模型的平均准确率分别提升了2.59和1.81个百分点。
  • 在Knights and Knaves任务中，VASPO的表现优于其他评估方法，展示了其在复杂推理任务中的有效性。

• 挑战与权衡：

  • VASPO需要更复杂的训练流程，包括特权信息的获取和自教师的训练，这可能增加计算成本。
  • 在某些情况下，特权信息的获取可能受到限制，影响方法的适用性。

开发者落地与部署建议

• 适用场景：

  • 适用于需要高精度推理能力的任务，如数学问题求解、逻辑推理和复杂决策。

• 部署建议：

  • 建议在具有强大计算资源的平台上部署，以支持自教师和评论家的协同评估。
  • 可以结合其他强化学习技术，如分布式训练和混合精度计算，进一步提升训练效率。

• 未来方向：

  • 探索VASPO在不同领域的应用，如自然语言处理和机器人控制。
  • 研究如何减少特权信息获取的复杂性，以扩大方法的适用范围。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #策略优化 关注 #VASPO 关注 #数学推理 关注