Hugging Face提出EDEN框架：革新RLVR中的嵌入空间探索机制

摘要：Hugging Face提出了一种名为EDEN (Embedding-space Directional Exploration via anchored Noise)的新方法，用于改进基于可验证奖励的强化学习（RLVR）。该方法通过在输入嵌入空间中添加锚定噪声扰动，扩展了策略探索范围，从而在相同预算下提升采样解决方案的覆盖范围。实验结果表明，EDEN在多个数学推理基准测试中表现优于现有的GRPO方法，尤其在复杂任务中展现出更强的探索能力和学习信号生成能力。

---

1. 引言

强化学习结合可验证奖励（RLVR）是一种在复杂任务中实现高效策略学习的方法。然而，RLVR面临的一个主要挑战是策略探索的局限性：传统方法通常依赖小规模的rollout组进行采样，导致组内奖励变化较小，难以生成有效的学习信号。

2. 技术机制剖析

Hugging Face提出的EDEN框架通过以下机制解决了上述问题：

• 锚定噪声扰动：在输入嵌入空间中添加高斯噪声扰动，并通过共享锚点确保扰动方向的一致性。这种方法不仅增加了探索的多样性，还保持了策略的连贯性。
• 替换部分rollout：在每组rollout中，用扰动后的输入生成的轨迹替换一小部分标准rollout轨迹，从而在不增加预算的情况下引入更多样化的探索路径。
• 优势加权更新：选择的部分扰动rollout以降低的优势权重参与GRPO更新，确保模型在保持稳定性的同时有效利用新信息。

EDEN的架构无需改变模型架构、解码方式或推理过程，仅通过干预rollout源实现了探索能力的提升。

3. 工程权衡与实测表现

• 优势：
  • 在多个数学推理基准测试中，EDEN相较于GRPO和其他探索控制方法，在采样解决方案的覆盖范围上取得了显著提升。
  • 通过锚定噪声扰动，EDEN在保持策略稳定性的同时，显著增强了探索能力。
• 权衡：
  • 尽管EDEN在复杂任务中表现优异，但在简单任务中，其性能提升可能有限。
  • 扰动引入的额外计算开销需要权衡，但总体上对推理速度影响较小。

实验结果表明，EDEN在处理长序列和复杂推理任务时表现出色，尤其在需要高探索能力的环境中优势明显。

4. 开发者落地与部署建议

• 适用场景：
  • 适用于需要高效探索和策略学习的复杂任务，如数学推理、逻辑规划等。
  • 建议在资源充足的环境中部署，以充分发挥其优势。
• 优化建议：
  • 可以结合其他探索方法（如熵奖励、好奇心驱动）进一步提升性能。
  • 在实际应用中，建议根据任务特性调整锚定噪声的强度和扰动频率，以达到最佳效果。

5. 结论

EDEN框架通过创新的锚定噪声扰动机制，显著提升了RLVR中的探索能力，为复杂任务的策略学习提供了新的思路。

---

消息来源：Hugging Face Daily Papers (2026-10-12)

—— 完 ——

主题标签： #Hugging Face 关注 #RLVR 关注 #EDEN 关注 #强化学习 关注 #嵌入空间探索 关注