Hugging Face发布RPO：革新扩散强化学习中的注意力路由策略

摘要：Hugging Face推出了一种名为Routing Policy Optimization (RPO)的新技术，旨在优化扩散强化学习中的注意力路由策略。RPO通过在去噪过程中引入随机探索，同时保留生成器的确定性采样器，显著提升了训练效率。与传统方法相比，RPO在文本生成图像和视频任务中实现了近4倍的训练效率提升，同时保持了生成质量。该技术通过控制的两步评估器优化路由决策，并在推理阶段恢复密集注意力，确保了模型的高效性和稳定性。

---

技术机制剖析

Routing Policy Optimization (RPO) 通过将注意力路由转化为随机探索行为，解决了传统扩散强化学习中因反向去噪轨迹扰动而导致的效率低下问题。其核心机制包括：

1. 随机探索引入：在选定的去噪层级中，查询块保留自身块，并根据生成器的原生注意力质量对关键块进行采样，或保持密集注意力。
2. 速度扰动与评分：采样的路由扰动该过渡的速度，高斯似然函数围绕密集速度对扰动进行评分。
3. 两步评估器：RPO 使用受控的两步评估器，两个评估共享相同的提示、初始潜变量、路由去噪层级和密集编码器层，仅在采样的注意力路由上有所不同。它们的奖励差异为路由过渡提供优势信号。
4. 推理阶段恢复：在推理阶段，RPO 恢复密集注意力，并保留原始的确定性采样器，确保生成质量不受影响。

工程权衡与实测表现

• 效率提升：与Flow-GRPO类方法相比，RPO在训练效率上实现了近4倍的提升，同时保持了生成质量。
• 适用性：RPO适用于文本生成图像和视频任务，展示了其在多模态生成中的潜力。
• 稳定性：由于RPO在推理阶段恢复密集注意力，模型的稳定性和可靠性得到了保障。

开发者落地与部署建议

1. 适用场景：建议在需要高效训练和高生成质量的文本生成图像和视频任务中使用RPO。
2. 优化建议：开发者可以结合RPO与现有的强化学习框架，以进一步提升训练效率和生成质量。
3. 资源需求：由于RPO在推理阶段恢复密集注意力，开发者需确保有足够的计算资源以支持高密度计算。

结论

RPO的发布标志着扩散强化学习领域的一次重要突破，特别是在处理复杂生成任务时，展示了其在提升训练效率和保持生成质量方面的强大能力。

---

消息来源：Hugging Face Daily Papers (2026-10-15)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #注意力路由 关注 #多模态生成 关注 #RPO 关注