Hugging Face发布ESRL框架：探索MoE模型专家路由空间提升强化学习性能

摘要：Hugging Face的研究团队提出了一种名为Expert-Space Exploration Reinforcement Learning (ESRL)的新方法，用于探索混合专家模型（MoE）的专家路由空间。该方法通过保留高置信度专家作为锚点，并限制随机路由到合理的候选池，从而在保持可靠计算路径的同时增加输出多样性。实验结果表明，ESRL在多个MoE骨干网络和任务中均表现出色，尤其在Qwen3-30B-A3B模型上，Pass@1和Pass@8指标相较于现有最佳方法分别提升了3.2和4.5个百分点。ESRL展示了通过利用MoE特有的路由结构来优化强化学习训练的有效性，为AI模型的后训练阶段提供了新的技术路径。

---

核心突破

Hugging Face的研究团队推出了一种名为Expert-Space Exploration Reinforcement Learning (ESRL)的新方法，旨在通过探索混合专家模型（MoE）的专家路由空间来提升强化学习（RL）的性能。以下是ESRL的核心创新点：

• 专家路由空间探索：ESRL通过扰动专家路由来增加模型输出的多样性，同时避免激活不合适的专家，从而在保持可靠计算路径的同时提升性能。
• 架构感知框架：ESRL是一个架构感知框架，能够根据路由器的熵自适应调整扰动强度，避免过度扰动。
• 路径回放机制：为了缓解扰动引入的路由不匹配问题，ESRL记录了rollout过程中使用的专家路径，并在策略优化时进行回放。

实验结果

在实验中，ESRL在多个MoE骨干网络（如top-K、top-1和共享专家路由）以及不同任务（如数学、科学和代码任务）中均表现出色。特别是在Qwen3-30B-A3B模型上，ESRL相较于现有最佳方法GRPO，Pass@1和Pass@8指标分别提升了3.2和4.5个百分点。

技术亮点

• 扰动与锚点策略的结合：通过保留高置信度专家作为锚点，ESRL在增加多样性的同时保持了模型的可靠性。
• 自适应扰动强度调整：根据路由器的熵调整扰动强度，避免过度扰动导致的性能下降。
• 路径回放机制：记录并回放rollout过程中使用的专家路径，缓解路由不匹配问题。

行业影响与开发者建议

ESRL的推出为AI模型的后训练阶段提供了新的技术路径，特别是在处理复杂任务和大规模模型时表现出色。对于开发者而言，以下几点值得关注：

• 模型优化：ESRL可以用于优化现有MoE模型的强化学习训练，提升模型在特定任务上的性能。
• 多任务处理：ESRL在多任务场景中表现出色，开发者可以利用该方法提升模型在多任务处理中的表现。
• 实验验证：建议开发者根据自身需求进行实验验证，以确定ESRL在不同应用场景中的适用性。

结论

ESRL展示了通过探索MoE模型的专家路由空间来提升强化学习性能的巨大潜力，为AI模型的后训练阶段提供了新的技术路径。

---

消息来源：Hugging Face Daily Papers (2026-09-11)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #MoE模型 关注 #专家路由 关注 #AI模型优化 关注