Hugging Face发布SQAM：革新强化学习中的流策略优化技术

摘要：Hugging Face的研究团队提出了一种名为SQAM（Q-Learning with Scalar Adjoint Matching）的新方法，用于优化流策略的强化学习（RL）过程。SQAM通过引入标量伴随匹配技术，显著降低了传统伴随匹配方法中每步向量-雅可比积的计算成本，同时通过在策略生成的动作上施加价值惩罚，进一步提升了模型性能。该方法在OGBench的四个最具挑战性的领域中表现优异，成功率较最强基线提升了18%至35个百分点。此外，SQAM在真实双机械臂机器人任务上的微调实验中也表现出色，展示了其在处理复杂现实任务中的潜力。

---

背景与挑战

强化学习（RL）在优化复杂策略方面取得了显著进展，但传统方法在处理流策略（flow policies）时面临挑战。流策略通过多步流动生成动作，这使得基于价值函数对其进行微调变得困难。伴随匹配（Adjoint Matching）提供了一种原则性的方法，通过将价值信息从最终动作传播回每个流动步骤来更新流模型，但其每步都需要计算向量-雅可比积，计算成本随流动步骤和策略规模增长而增加。

SQAM方法

Hugging Face的研究团队提出了SQAM（Q-Learning with Scalar Adjoint Matching），通过以下创新解决了上述问题：

1. 标量伴随匹配：通过观察预训练流策略的批量平均速度雅可比矩阵集中在对角线上，推导出一种封闭形式的标量伴随，消除了每步的向量-雅可比积。
2. 价值惩罚机制：在标量伴随的基础上，SQAM在策略生成的动作上施加价值惩罚，进一步提升了模型性能。

实验结果

SQAM在OGBench的四个最具挑战性的领域中表现优异，成功率较最强基线提升了18%至35个百分点。此外，SQAM在真实双机械臂机器人任务上的微调实验中也表现出色，展示了其在处理复杂现实任务中的潜力。

主要技术亮点

• 标量伴随匹配：降低计算成本，提升优化效率。
• 价值惩罚机制：增强模型在策略生成动作上的控制能力。
• 多领域适用性：在多个基准测试中表现优异，尤其在复杂任务中优势明显。

行业影响与开发者建议

SQAM的发布为强化学习领域带来了新的技术突破，特别是在处理复杂流策略优化方面展示了巨大潜力。对于开发者而言，SQAM提供了一种更高效的流策略优化方法，可以应用于机器人控制、自动驾驶等领域。

建议

• 关注SQAM的应用场景：在需要高效流策略优化的任务中优先考虑SQAM。
• 结合其他技术：探索SQAM与其他RL技术（如PPO、TRPO）的结合，以进一步提升性能。
• 关注后续研究：关注Hugging Face在SQAM上的后续研究进展，特别是其在更大规模模型和更复杂任务中的应用。

---

消息来源：Hugging Face Daily Papers (2026-10-07)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #流策略优化 关注