Hugging Face发布FSPO框架：革新强化学习中的策略优化与推理效率

摘要：Hugging Face推出了一种名为Function-Space Policy Optimization (FSPO) 的新型强化学习框架，旨在解决现有自蒸馏方法中目标不稳定的问题。FSPO通过存储稀疏的历史下一词分布作为固定时间目标，避免了持续维护教师模型的需求，同时引入了特权分歧校正、可靠性自适应基线以及质量与覆盖感知的时间记忆机制。在推理和工具使用基准测试中，FSPO在5小时训练预算内实现了最高平均准确率，相较最强基线平均提升约4%，并显著降低了峰值内存使用量。

---

技术机制剖析

Hugging Face发布的FSPO框架旨在解决强化学习中自蒸馏方法的目标不稳定问题。FSPO的核心机制包括：

1. 固定时间目标：通过存储稀疏的历史下一词分布作为固定时间目标，避免了持续维护教师模型的需求，从而降低了计算开销。
2. 特权分歧校正：显式抑制局部高估动作，提升模型对复杂任务的适应能力。
3. 可靠性自适应基线：在自生成证据反复失败时加强参考监督，提升模型对不确定性的处理能力。
4. 质量与覆盖感知的时间记忆：保留经过验证的行为，并改进特权演示的质量和覆盖范围。

工程权衡与实测表现

FSPO在推理和工具使用基准测试中表现出色，尤其是在以下方面：

• 准确率提升：在5小时训练预算内，FSPO实现了最高平均准确率，相较最强基线平均提升约4%。
• 内存优化：显著降低了峰值内存使用量，从约70 GB降至56 GB（以Olmo3-7B-Instruct模型为例）。

这一改进不仅提升了模型在复杂任务中的表现，还降低了硬件门槛，使得更多开发者能够利用该框架进行高效训练。

开发者落地与部署建议

对于希望采用FSPO框架的开发者，以下是一些建议：

1. 硬件需求：尽管FSPO降低了内存使用量，但仍然需要较强的计算资源，建议使用配备高性能GPU的服务器进行训练。
2. 训练时间管理：由于FSPO在5小时训练预算内表现出色，开发者应合理规划训练时间，以充分利用其优势。
3. 模型集成：FSPO可以与现有的强化学习模型无缝集成，开发者可以根据具体应用场景进行定制化调整。

结论

FSPO框架的推出标志着强化学习在策略优化和推理效率方面的又一次突破。其创新的时间目标管理和自适应机制为AI模型在复杂任务中的应用提供了更强大的支持。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #FSPO 关注 #策略优化 关注 #AI框架 关注