Hugging Face发布DiffusionART：高效稳定强化扩散模型的新方法

摘要：Hugging Face推出DiffusionART，这是一种用于强化扩散模型的新方法，旨在解决现有方法在效率和稳定性上的不足。DiffusionART通过聚合每个提示的奖励并消除前后一致性约束，实现了无需可微奖励模型的高效训练，并在图像和视频生成任务中表现出色。与现有方法相比，DiffusionART在HunyuanVideo-13B数据集上以更少的GPU时间达到了更高的训练奖励水平，展示了其在多模态生成任务中的潜力。

---

技术机制剖析

DiffusionART通过以下核心机制实现了对扩散模型的强化：

1. 奖励聚合与一致性消除：DiffusionART将每个提示的奖励聚合到一个共享的奖励改进方向中，消除了传统方法中存在的前后一致性约束。这一设计减少了训练过程中的冗余计算，提高了效率。

2. 信任区域掩码更新：引入信任区域掩码机制，在不依赖EMA（指数移动平均）的情况下实现自适应恢复。这种方法通过限制模型更新的范围，避免了训练过程中的不稳定问题。

3. 成对奖励模型支持：DiffusionART支持成对奖励模型（DiffusionART-Pairwise），这使得模型能够处理更复杂的奖励结构，进一步提升了其在多模态任务中的表现。

工程权衡与实测表现

• 效率与稳定性：与Flow-GRPO和DiffusionNFT相比，DiffusionART在训练效率上实现了显著提升。在HunyuanVideo-13B数据集上，DiffusionART以12.02和11.72倍更少的GPU小时数达到了与DiffusionNFT和Flow-GRPO-Fast相同的平均奖励水平，同时实现了28.8%和53.0%的平均训练奖励提升。

• 无需可微奖励模型：DiffusionART不需要可微奖励模型，这降低了训练复杂性，并使其在更多场景下具有通用性。

• 多模态适用性：该方法在图像和视频生成任务中均表现出色，展示了其在多模态生成中的潜力。

开发者落地与部署建议

• 适用场景：DiffusionART适用于需要高效、稳定生成高质量图像和视频的应用场景，如内容创作、虚拟现实和游戏开发等。

• 部署建议：由于其高效性和稳定性，开发者可以将其集成到现有的生成管道中，以提升生成质量和效率。同时，建议在资源受限的环境中优先考虑使用DiffusionART，以充分利用其低GPU时间消耗的优势。

• 未来方向：未来可以进一步探索DiffusionART在更大规模数据集和更复杂任务上的表现，以及其在其他领域的应用潜力，如音频生成和跨模态生成。

---

消息来源：Hugging Face Daily Papers (2026-10-08)

—— 完 ——

主题标签： #DiffusionART 关注 #强化学习 关注 #扩散模型 关注 #Hugging Face 关注 #多模态生成 关注