Open-HumanScale开放5万小时人类视频,HumanWAM刷新机器人迁移成绩
摘要:Open-HumanScale 发布一套面向具身基础模型的开放训练方案:以5万小时第一人称人类视频构成 Open-HumanScale-50K,密集标注手部动作与自然语言,并同步开放数据处理、预训练、机器人后训练、推理代码和仿真评测环境。其核心发现是,纯人类视频预训练时长与下游机器人成功率呈经验性对数线性关系。HumanWAM-Goal 通过混合人类与机器人数据预训练,在 RoboTwin 2.0 Clean2Random 达到84.60%的成功率,并展示无需参数更新的具身上下文学习,但跨任务泛化与仿真到现实差距仍需独立验证。
开放的不只是数据集,而是一套具身缩放配方
Open-HumanScale 将具身智能的数据瓶颈重新表述为“经验规模”问题:第一人称人类视频包含大量手部操作先验,但原始视频若不经过筛选、动作标注与任务对齐,规模的增加未必会转化为机器人策略能力。研究因此发布 Open-HumanScale-50K,包含 50,000 小时经整理的第一人称视频,并密集标注手部运动与自然语言,同时开放数据整理、预训练、后训练、推理及仿真评测流程。
相较只公布 checkpoint 的常见做法,这套开放内容更接近可复现的“具身数据工程规范”:研究者可以调整数据清洗强度、人类与机器人数据比例、目标条件化方式,以及从预训练到闭环评测的完整链路。
HumanWAM如何从人类视频学习操作先验
HumanWAM 属于世界—动作模型:模型不仅预测当前状态下应执行什么动作,还需要对动作执行后的未来视觉状态形成内部预测,以减少从图像到动作映射中的不确定性。HumanWAM-Vanilla 仅使用 5 万小时人类视频预训练;HumanWAM-Goal 则在视觉目标条件下联合学习人类与机器人数据。
人类视频预训练的核心价值并不只是视觉语义对齐,而是把人手与物体交互的时序结构编码为可迁移的操作先验。对机器人后训练而言,这种先验尤其适合弥补真实机器人轨迹数量不足的问题:从互联网规模视频中学习接触、抓取、搬运和物体状态变化,再用较少机器人数据校正动作空间、相机标定与动力学差异。
不过,人手动作不能直接等同于机器人末端执行器轨迹。人体关节自由度、对象尺度、接触动力学与机器人执行器约束均不同,因此迁移是否成功高度依赖手部轨迹重建、视觉目标表示及后训练数据分布,而不是单纯依赖预训练时长。
数据规模与机器人成功率的经验规律
研究通过闭环仿真评测发现,机器人后训练成功率与人类预训练数据时长之间存在经验性的对数线性关系。这一结果比“数据越多越好”的表述更有工程价值:如果成功率对数据小时数呈对数增长,那么扩大十倍数据带来的边际收益会低于线性扩展,团队需要同时改善数据质量、任务覆盖和后训练分布,而不能只采购更多视频。
这条规律目前仍属于经验结论,而非严格普适定律。其适用范围至少取决于视觉域、动作表示、机器人形态、评测任务和后训练数据。论文摘要没有给出拟合区间、置信区间或跨数据源的留出验证,因此不宜把 50,000 小时直接外推到其他机器人平台。
闭环成绩与泛化边界
机器人后训练后,HumanWAM-Vanilla 在 RoboTwin 2.0 Clean2Clean 上达到 92.08% 成功率,在更强调初始状态或目标随机化的 Clean2Random 上为 68.88%;在 RoboDojo 上报告 14.17% 的平均成功率和 19.00 的平均进度分。
加入目标条件与混合数据后,HumanWAM-Goal 在 RoboTwin 2.0 的 Clean2Clean 和 Clean2Random 分别达到 92.70% 和 84.60%。Clean2Random 的 15.72 个百分点提升说明,视觉目标条件化和人类—机器人联合预训练主要改善的是分布外起点、目标表达和任务泛化,而非只对固定场景做记忆。
这些数字仍需谨慎解读。Clean2Clean 与 Clean2Random 衡量的是不同难度的分布偏移;RoboDojo 的 14.17% 成功率则表明复杂长程操作远未解决。不同基线是否采用相同观测、动作空间、后训练预算、随机种子和失败判定标准,也需要结合论文与评测代码核验。官方称达到新 SOTA 不等于证明对所有机器人形态成立。
具身上下文学习:不更新参数也能改变行为
HumanWAM-Goal 在实体机器人上展示了 emergent embodied in-context learning:模型可在推理阶段根据未见过的视觉目标动态调整操作行为,而无需更新参数。其意义在于把上下文学习从语言模型的提示扩展到持续控制——当前任务目标可由视觉轨迹提供,模型在上下文内解析目标差异并改变动作。
这仍不能等同于通用在线学习。上下文窗口有限,视觉目标歧义、历史轨迹污染和分布外任务都可能破坏适应能力;同时,必须评估系统是否真的使用了目标条件,而非依靠环境提示或预置策略产生表象上的泛化。
数据与算力成本:开放不等于低门槛
50,000 小时视频并不等于 50,000 小时可直接训练的原始视频。完整流程至少涉及镜头级去重、质量过滤、手部检测与轨迹估计、语言标注、任务聚类、训练/验证隔离以及机器人数据配比。视频解码、稠密时序标注和多阶段训练也会形成显著 I/O 与算力成本。
对于研究团队,优先建议从发布的数据索引与质量分层开始,而非直接跑完整预训练:先复现小规模数据子集的缩放趋势,再分别验证纯人类预训练、联合预训练与目标条件化模块的边际贡献。部署侧应重点记录推理帧率、动作控制延迟、目标条件误识别率和失败恢复能力;机器人安全不能只依据仿真成功率判断。
Open-HumanScale 的真正贡献,是把“人类视频能否扩展机器人能力”从直觉推进为可检验、可复现的开放研究基线。它同时暴露了具身智能中的现实约束:数据缩放确有规律,但跨本体对齐、闭环稳定性与真实机器人可靠性仍是模型能力转化为生产系统的硬门槛。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-04)
主题标签: #具身智能 #人类视频预训练 #世界动作模型 #机器人学习 #数据缩放
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区