Amazon Science发布StructRL：提升长时序视觉-语言-动作任务性能

摘要：Amazon Science团队提出了一种名为StructRL的在线强化学习框架，旨在解决长时序视觉-语言-动作（VLA）任务中的性能瓶颈问题。StructRL通过将任务分解为可验证的子任务，并在完成前提子任务后给予中间奖励，从而实现对复杂任务的逐步优化。与传统方法相比，StructRL在RoboCasa365和LIBERO-Long基准测试中表现优异，展示了其在长时序任务中的显著优势。该研究为多模态智能体在复杂任务中的训练提供了新的思路。

---

研究背景与挑战

视觉-语言-动作（VLA）模型在短时序操作任务中表现出色，但在需要多个依赖操作的长时序任务中仍然面临挑战。现有的在线强化学习方法通常在任务完全成功后才提供奖励，这种终端监督方式过于稀疏，难以区分早期失败和部分进展显著的执行路径。

StructRL框架

StructRL通过以下方式解决了上述问题：

1. 任务分解：将复杂任务分解为多个可验证的子任务。
2. 中间奖励机制：仅在前提子任务完成后给予中间奖励，并根据完成进度调整奖励规模。
3. 结构化监督：通过结构化的中间监督信号，引导智能体逐步完成复杂任务。

实验结果

在RoboCasa365和LIBERO-Long基准测试中，StructRL与现有的在线RL方法进行了对比。结果表明，StructRL在长时序任务中表现优异，显著提升了VLA模型的后训练性能。

技术亮点

• 可验证子任务分解：通过将任务分解为可验证的子任务，确保了奖励信号的准确性和有效性。
• 中间奖励机制：解决了传统方法中奖励信号稀疏的问题，为智能体提供了更丰富的学习信号。
• 结构化监督：通过结构化的监督信号，引导智能体逐步完成复杂任务，提升了训练效率和效果。

行业影响与开发者建议

StructRL为多模态智能体在复杂任务中的训练提供了新的思路，特别是在需要长时序推理和操作的应用场景中具有重要意义。开发者可以参考StructRL的框架设计，优化现有智能体的训练流程，提升其在复杂任务中的表现。此外，StructRL的代码已开源，开发者可以快速集成和应用该框架。

未来展望

未来，StructRL有望在机器人控制、自动驾驶和虚拟助手等领域得到广泛应用，进一步推动多模态智能体的发展。

---

消息来源：Hugging Face Daily Papers (2026-09-28)

—— 完 ——

主题标签： #强化学习 关注 #多模态智能体 关注 #长时序任务 关注 #Amazon Science 关注 #StructRL 关注