Hugging Face发布HuGe：基于自中心体验的类人机器人通用视觉-语言-动作模型

摘要：Hugging Face推出了一款名为HuGe的类人机器人通用视觉-语言-动作模型（VLAs），旨在解决机器人领域对全身协调控制与多样化演示数据的需求问题。HuGe通过利用超过2000小时的自中心人类和机器人数据预训练，并结合三种代表性VLA架构，实现了从模拟到真实世界的任务迁移。其训练流程分为三个阶段：自中心预训练、类人适应和下游微调。实验表明，HuGe在HumanoidArena模拟基准测试中达到了最先进的性能，并在Unitree G1机器人上成功实现了视觉适应后的拾取和放置任务。

---

技术机制剖析

HuGe模型的核心在于其对自中心数据的利用与类人机器人全身控制能力的结合。具体来说，HuGe采用以下技术机制：

1. 自中心数据预训练：通过使用超过2000小时的自中心人类和机器人数据，HuGe能够捕捉到丰富的任务执行细节和全身运动模式。这种数据采集方式不仅降低了真实世界数据收集的成本，还为模型提供了多样化的任务体验。

2. 三阶段训练流程：

   • 自中心预训练：模型首先在自中心数据上进行预训练，以学习基本的视觉-语言-动作关联。
   • 类人适应：在预训练基础上，模型通过模拟数据调整以适应类人机器人的运动学特性。
   • 下游微调：最后，模型在特定任务上进行微调，以优化其在真实世界应用中的表现。

3. 伪本体感受状态构建：为了弥合人类与机器人之间的感知差异，HuGe在预训练阶段通过模拟回放构建伪本体感受状态，并在下游微调阶段通过重新渲染修改自中心观察中的手臂外观，从而实现跨形态的迁移。

4. 运动令牌预测：HuGe使用三种现有的VLA架构来预测用于全身控制器的潜在运动令牌，并结合手部控制信号，实现更精细的动作控制。

工程权衡与实测表现

HuGe的设计在多个方面进行了权衡：

• 数据采集与处理成本：虽然自中心数据降低了真实世界数据采集的成本，但其处理和标注仍然需要大量计算资源。

• 模拟与真实世界的差距：尽管通过伪本体感受状态和视觉适应技术，HuGe在模拟与真实世界之间实现了较好的迁移效果，但两者之间的差距仍然存在，尤其是在复杂环境中。

• 模型复杂度与计算需求：HuGe的复杂架构和大规模数据处理需求对计算资源提出了较高要求，可能限制其在资源受限环境中的应用。

在HumanoidArena模拟基准测试中，HuGe展示了其卓越的性能，显著优于现有模型。在Unitree G1机器人上的真实世界实验中，HuGe在视觉适应后的拾取和放置任务中表现出色，成功率大幅提升。

开发者落地与部署建议

对于开发者而言，HuGe的发布为类人机器人应用提供了新的技术路径。以下是一些建议：

1. 数据准备：开发者应优先收集和准备高质量的自中心数据，以充分利用HuGe的预训练能力。

2. 模型微调：根据具体应用场景，开发者需要对HuGe进行下游微调，以优化其在特定任务中的表现。

3. 计算资源管理：由于HuGe对计算资源的需求较高，开发者需要合理规划和管理计算资源，或考虑使用模型压缩和量化技术以降低资源消耗。

4. 跨形态迁移：开发者可以利用HuGe的伪本体感受状态构建和视觉适应技术，实现从模拟到真实世界的有效迁移。

---

消息来源：Hugging Face Daily Papers (2026-10-25)

—— 完 ——

主题标签： #Hugging Face 关注 #机器人 关注 #视觉-语言-动作模型 关注 #自中心数据 关注 #全身控制 关注