Hugging Face发布RWTD:革新单步生成模型后训练方法
摘要:Hugging Face推出了一种名为Reward-Weighted Transport Distillation (RWTD) 的后训练方法,旨在解决单步生成模型难以优化的难题。该方法通过混合当前模型和参考分布的倾斜版本,构建了一个自适应目标,并利用特征空间最优传输和不动点回归实现目标对齐。实验结果表明,RWTD显著提升了单步生成模型SANA Sprint 1.6B的性能,GenEval评分从0.73提升至0.80,同时展现出强大的跨奖励泛化能力,保持了模型的组合能力。
背景与挑战
单步生成模型能够在单次网络评估中生成高质量的视觉内容,但其后训练过程面临诸多挑战:隐式生成模型难以提供可处理的似然值或去噪轨迹,且许多奖励函数不可微分,这使得传统优化方法难以直接应用。
RWTD方法概述
Hugging Face提出的RWTD方法通过以下方式解决了上述问题:
- 自适应目标构建:RWTD混合了当前模型和参考分布的倾斜版本,其中当前组件包含训练过程中发现的所有改进,而参考组件则将目标锚定在预训练生成器上。
- 特征空间最优传输与不动点回归:RWTD通过特征空间最优传输实现目标对齐,并通过不动点回归确保分布的稳定性。
理论分析与实验结果
理论分析表明,RWTD的固定点分布在参考模型的非策略奖励倾斜和当前模型的在策略倾斜之间进行插值,提供了一种平衡奖励适应与先验知识保留的原则性方法。
在实验中,RWTD将单步生成模型SANA Sprint 1.6B的GenEval评分从0.73提升至0.80。此外,独立的偏好对齐实验表明,RWTD在跨奖励泛化方面表现优异,能够在保持组合能力的同时实现平衡改进。
行业影响与开发者建议
RWTD为单步生成模型的后训练提供了一种创新解决方案,具有以下潜在影响:
- 提升模型性能:RWTD可以广泛应用于各种单步生成模型,提升其生成质量与任务适应性。
- 跨领域适用性:该方法对奖励函数的非可微性具有鲁棒性,使其在多领域应用中具有广泛前景。
对于开发者而言,RWTD的发布意味着可以更高效地优化单步生成模型,建议在以下场景中优先尝试:
- 视觉内容生成:如图像、视频生成任务。
- 复杂奖励函数优化:如多标准评估任务。
- 资源受限环境:RWTD的后训练特性使其在资源受限环境中更具优势。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-25)
主题标签: #Hugging Face #生成模型 #后训练 #RWTD #GenEval
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区