arXiv发布Li2SAO：优化异步强化学习的新方法

摘要：arXiv近日发布了一种名为Li2SAO的新方法，用于优化异步强化学习（RL）。该方法通过引入组相对演员-评论家自举技术，解决了现有单轮异步优化（SAO）方法在训练早期表现不佳的问题。Li2SAO在单轮推理和多轮智能体任务中表现出色，实验表明其在训练初期即可超越GRPO，并在后续性能上进一步提升。该研究为AI在复杂任务中的训练效率优化提供了新的技术路径。

---

1. 背景与动机

异步强化学习（RL）已成为后训练大语言模型（LLM）的主流范式，因其通过按需更新模型提高了训练效率。然而，现有方法如组相对策略优化（GRPO）在处理长尾分布的rollout长度时存在不足，单轮异步优化（SAO）虽然提升了稳定性和离策略行为，但依赖于预训练的价值模型，这限制了其应用范围。

2. Li2SAO的核心机制

Li2SAO通过以下方式优化了异步RL训练：

• 组相对演员-评论家自举：在评论家较冷时，使用组相对优势训练演员，并使用组相对回报训练评论家。
• 单轮GAE切换：在评论家训练完成后，切换到单轮广义优势估计（GAE）进行训练。

这种机制解决了SAO在训练初期的不足，同时保持了其在复杂任务中的优势。

3. 实验与结果

实验在单轮推理和多轮智能体任务中进行，结果表明：

• 在推理任务中，GRPO表现优于LiSAO。
• 在智能体任务中，LiSAO表现优于GRPO。
• Li2SAO在训练初期即赶上或超越GRPO，并在后续性能上进一步提升。

4. 工程权衡与挑战

Li2SAO的引入虽然提升了训练效率，但也带来了新的挑战：

• 计算开销：组相对自举增加了计算复杂度，需要更高效的并行化策略。
• 内存占用：训练过程中需要存储更多的中间状态，对显存提出了更高要求。

5. 未来展望

Li2SAO为异步RL训练提供了新的思路，未来研究方向包括：

• 进一步优化组相对自举的计算效率。
• 探索更高效的价值模型预训练方法。
• 将Li2SAO应用于更大规模的LLM训练中。

6. 开发者建议

对于开发者而言，Li2SAO的代码已在GitHub上开源，开发者可以参考以下建议进行部署：

• 在资源充足的硬件环境下进行训练，以应对增加的内存和计算需求。
• 结合具体任务需求，调整组相对自举的参数，以获得最佳性能。

结论

Li2SAO为异步RL训练提供了新的优化方法，在提升训练效率的同时，保持了复杂任务中的高性能表现，为AI领域带来了新的技术突破。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-02)

—— 完 ——

主题标签： #异步强化学习 关注 #Li2SAO 关注 #arXiv 关注 #RL优化 关注 #AI训练 关注