Hugging Face发布Dex-One2Many：基于单次人类演示的灵巧操作学习框架

摘要：Hugging Face推出Dex-One2Many框架，旨在解决从单次人类视频学习灵巧操作时面临的泛化与探索挑战。该框架通过将视频抽象为顺序场景图，指导强化学习（RL）进行高效探索，同时保持广泛的泛化能力。在模拟环境中训练后，Dex-One2Many能够零样本迁移到真实多指机械手，并在五个工具使用和操作任务中显著超越基线方法，尤其在未见过的场景中表现尤为突出。

---

技术机制剖析

Dex-One2Many的核心创新在于其将单次人类视频抽象为顺序场景图的能力。这些场景图作为生成约束，指导强化学习（RL）进行高效探索，同时保持对不同对象姿态和抓取方式的广泛泛化能力。具体来说，场景图通过以下方式发挥作用：

1. 生成约束：场景图用于采样多样化的重置状态，这些状态不仅限于视频中展示的对象姿态和抓取方式，从而扩展了探索空间。
2. 密集奖励：每个阶段提供密集奖励，指导智能体在探索过程中保持高效和目标导向。

工程权衡与实测表现

Dex-One2Many在模拟环境中训练后，能够零样本迁移到真实多指机械手。其在五个工具使用和操作任务中的表现如下：

• 已知配置：在已知配置下，Dex-One2Many的表现比基线方法高出6.5%。
• 未知场景：在未见过的场景中，其泛化能力显著提升，表现比基线方法高出71%。

这种显著的泛化能力表明，Dex-One2Many在处理复杂、多阶段的灵巧操作任务时具有很强的适应性和鲁棒性。

开发者落地与部署建议

对于开发者而言，Dex-One2Many提供了一种高效的学习框架，可以减少对昂贵机器人演示的依赖。以下是一些部署建议：

1. 数据采集：尽量使用高质量的单次人类演示视频，确保场景图生成的准确性。
2. 模拟训练：在模拟环境中进行充分训练，以利用Dex-One2Many的零样本迁移能力。
3. 硬件适配：在真实机器人上部署时，注意机械手的物理限制和传感器精度，以确保迁移效果。

Dex-One2Many的发布为灵巧操作学习领域提供了新的技术路径，特别是在资源有限的情况下，其优势尤为明显。

---

消息来源：Hugging Face Daily Papers (2026-10-08)

—— 完 ——

主题标签： #Hugging Face 关注 #Dex-One2Many 关注 #强化学习 关注 #灵巧操作 关注 #模拟到现实迁移 关注