Hugging Face发布MEND：基于近端速度匹配的新型强化学习算法

摘要：Hugging Face推出了一种名为MEND的新型强化学习算法，用于改进流模型的奖励后训练过程。MEND通过在每个提示组内设置奖励上限，仅对未达到上限的样本提出改进建议，并仅在奖励增益超过二次位移成本时接受移动。该方法在100次更新中超越了需要数千次更新的Flow-GRPO，并在相同预算下优于ReFL和DiffusionNFT等方法，展现出高效性和通用性。

---

核心突破

Hugging Face发布了一种名为MEND（Proximal Velocity Matching for Flow Models via Reinforcement Learning）的新型强化学习算法，旨在改进流模型的奖励后训练过程。以下是MEND的主要技术亮点：

• 奖励上限机制：MEND在每个提示组内设置奖励上限，确保已经表现良好的样本不会进行不必要的调整，从而提高训练效率。
• 基于奖励梯度的移动建议：对于未达到上限的样本，MEND沿着奖励梯度提出移动建议，并仅在奖励增益超过二次位移成本时接受移动。
• 无KL惩罚项：与传统的基于KL惩罚的流模型训练方法不同，MEND无需KL项或冻结参考模型，简化了训练流程。
• 性能优势：在100次更新中，MEND在六个评估指标中的五个上超越了需要数千次更新的Flow-GRPO。在相同预算下，MEND在四个训练奖励的每次评估更新中均优于ReFL和DiffusionNFT。

技术解析

MEND的核心创新在于其基于近端速度匹配的方法，通过限制奖励调整的范围和幅度，避免了传统方法中常见的过度调整问题。这种方法不仅提高了训练效率，还减少了计算资源的消耗，使其在资源受限的环境中更具实用性。

行业影响

MEND的发布为流模型的后训练过程提供了一种更高效、更灵活的新方法。其通用性使其适用于任何具有可微奖励的流模型后端，为AI研究人员和工程师提供了更强大的工具。以下是MEND对行业的一些潜在影响：

• 提升模型训练效率：MEND通过减少不必要的样本调整和简化训练流程，显著提升了模型训练效率。
• 降低计算成本：由于MEND无需KL惩罚项或冻结参考模型，训练过程中的计算成本得以降低。
• 促进流模型的应用：MEND的通用性和高效性将促进流模型在更多领域的应用，如图像生成、音频处理和自然语言处理等。

开发者建议

对于AI开发者而言，MEND提供了一种新的强化学习训练方法，以下是一些建议：

• 尝试将MEND应用于现有流模型：开发者可以尝试将MEND应用于现有的流模型后训练过程，以验证其性能提升效果。
• 探索MEND在其他领域的应用：由于MEND的通用性，开发者可以探索其在其他领域的应用，如机器人控制、推荐系统和自动驾驶等。
• 结合其他技术优化MEND：开发者可以结合其他技术（如知识蒸馏、量化等）进一步优化MEND的性能。

---

消息来源：Hugging Face Daily Papers (2026-10-05)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #流模型 关注 #MEND 关注