Hugging Face发布CaPtain：开源机器人智能体训练与部署新范式

摘要：Hugging Face推出CaPtain，这是一套开源的后训练管道，将小型开源视觉-语言模型（VLM）转化为强大的代码即策略（CaP）机器人智能体。该系统通过GPT-6 Astra生成合成轨迹进行监督微调（SFT），随后应用多轮强化学习（RL），并引入物理批评机制以优化请求的奖励分配。CaPtain在多个基准测试中表现优异，例如在LIBERO-PRO上达到78.5%的成功率，超越多个前沿模型。其RL带来的性能提升在多种扰动测试中保持稳定，且无需目标领域训练即可在真实机器人上运行。

---

技术机制剖析

CaPtain的核心创新在于其开源的后训练管道，该管道将小型开源视觉-语言模型（VLM）转化为能够执行复杂机器人任务的智能体。其主要技术机制包括：

1. 监督微调（SFT）：利用GPT-6 Astra生成的合成轨迹对基础模型进行对齐训练，确保模型能够理解机器人API的调用方式。
2. 多轮强化学习（RL）：通过多轮RL，模型能够处理复杂的物理因果关系，并从单次结局中学习到多步请求的奖励分配。
3. 物理批评机制：引入一个读取特权模拟器状态的物理批评器，根据每个请求对成功概率的提升程度进行奖励分配，解决了多步请求的延迟奖励问题。

工程权衡与实测表现

CaPtain在多个基准测试中表现出色：

• LIBERO：在SFT后达到55.4%的成功率，RL后提升至73.8%。
• LIBERO-PRO：RL后达到78.5%，超越多个前沿模型。
• 扰动测试：在三种扰动测试中，RL带来的性能提升保持在+17.6到+21.2个百分点之间，展示了其鲁棒性。
• SimplerEnv WidowX：在无目标领域训练的情况下达到83.3%的成功率。
• CaP-Bench：超越前沿模型，并在模拟环境中适应后可直接在真实机器人上运行。

CaPtain的RL机制在处理复杂任务时表现出色，但其对特权模拟器状态的依赖可能限制其在某些应用场景中的适用性。此外，模型在训练过程中对GPT-6 Astra的依赖也意味着其性能可能受到生成数据的质量影响。

开发者落地与部署建议

对于开发者而言，CaPtain提供了一种将小型开源VLM转化为机器人智能体的有效途径。以下是一些部署建议：

1. 模拟环境优先：建议在模拟环境中进行充分的SFT和RL训练，以确保模型在真实环境中的表现。
2. 物理批评器的优化：根据具体任务需求，调整物理批评器的参数，以获得更好的奖励分配效果。
3. 实时性能监控：在部署过程中，实时监控模型的表现，并根据反馈进行持续优化。

总结

CaPtain展示了开源模型在机器人智能体领域的巨大潜力，为开发者提供了一种高效的训练和部署方案。尽管其对模拟器状态的依赖可能带来一定的局限性，但其强大的性能表现和开源特性使其成为机器人AI领域的一个重要工具。

---

消息来源：Hugging Face Daily Papers (2026-10-29)

—— 完 ——

主题标签： #Hugging Face 关注 #机器人智能体 关注 #强化学习 关注 #开源AI 关注 #CaP 关注