ResWAM只学视觉变化:0.5B双分支DiT驱动轻量世界动作模型
摘要:ResWAM 将 VLA 策略的未来预测从“重建完整未来画面”改为“预测视觉特征残差”。方法在冻结的 DINOv3 空间监督当前帧到未来帧的变化,使训练聚焦机械臂和被操作物体,而非静态背景。其 2.3B 总参数系统包含 0.5B 双分支 DiT,以条件流匹配联合训练动作与残差分支。论文报告,无额外机器人轨迹预训练时,模型在 LIBERO-Plus、RoboTwin 2.0、RoboDojo 取得领先平均成功率;真机 Open、Put、Stack 平均成功率 80.0%,延迟 92.7ms。该方法以更低计算成本聚焦任务相关运动,但算力口径、采样步数、方差、代码与外部复现仍待核验。
ResWAM 把世界动作模型的监督目标从完整未来观测改写为视觉变化残差,并以 0.5B 双分支 DiT 将动作预测与未来变化建模装入 2.3B 总参数系统。论文的关键主张不是单纯提高仿真分数,而是在不额外使用机器人轨迹预训练的情况下,同时压低训练与推理计算,并维持真实机械臂上的闭环表现。
核心机制:不再重建静态世界
1. 从完整未来特征转向视觉残差
传统世界动作模型(WAM)会监督模型预测完整未来观测或未来视觉特征。对于固定机位、短时动作块,背景在当前帧和未来帧之间几乎不变;当这些低变化区域占据绝大多数图像 token 时,训练目标会奖励“复制背景”,而不是充分区分机械臂、目标物体和接触状态。
ResWAM 的做法是在冻结的 DINOv3 空间中监督当前帧到未来帧的特征变化。概念上可表示为:
Δφ_t = φ_DINOv3(I_{t+h}) − φ_DINOv3(I_t)
其中具体的特征投影、归一化方式、预测时域和损失权重仍需以论文正文为准。这一改动带来三个直接效果:
- 抑制共同成分:静态背景在前后帧中相互抵消,监督信号更多落在真正发生变化的区域。
- 提高有效特征秩:论文报告残差目标比完整未来特征具有更高的 feature rank,说明其有效变化维度更丰富,而非大量维度都在描述同一背景。
- 空间聚焦:残差响应更集中于机械臂和被操作物体,降低背景纹理对策略学习的干扰。
不过,高 feature rank 只是表示冗余度下降的诊断指标,并不自动证明模型学到了因果运动。相机轻微移动、曝光变化、遮挡和阴影同样可能制造伪残差,实际部署必须对这些干扰做单独消融。
2. 0.5B 双分支 DiT 与条件流匹配
ResWAM 总参数为 2.3B,其中双分支 DiT 为 0.5B。动作分支负责动作序列建模,残差分支负责未来视觉变化建模,两者通过条件流匹配联合训练。
条件流匹配不要求模型按固定离散噪声表逐级去噪,而是在给定条件下学习一个从噪声分布流向目标分布的速度场;推理时再通过常微分方程求解器从噪声积分到动作或未来残差。相比自回归输出,这种方式适合连续、多峰的动作与未来状态分布,但实际收益高度依赖采样步数、求解器类型和批处理规模。
摘要没有披露两个分支是否共享全部权重、条件 token 如何注入、流匹配路径如何构造,也没有给出推理采样步数。因而 92.7ms 真机延迟不能直接归因于双分支结构本身,仍需拆解 DINOv3 特征提取、DiT 前向和动作输出的时间占比。
工程权衡:省掉视频生成模型,但并非零成本
- 参数与显存:2.3B 参数若全部采用 BF16,仅权重理论占用约 4.6GB;实际部署还要叠加 DINOv3、视觉 token、DiT 激活值、CUDA 工作区和动作解码器。摘要中的 0.5B 只对应双分支 DiT,并不代表完整系统只有 0.5B。
- 冻结编码器成本:冻结 DINOv3 可省去编码器反向传播和训练期梯度存储,但推理时仍需处理每一帧。能否复用上一控制周期的当前帧特征、批处理视觉编码,以及是否计入所报 TFLOPs,都需要实测确认。
- 残差尺度失衡:运动区域在图像中占比小,残差目标的范数可能远低于动作目标。工程实现应监控两支路的梯度范数、损失量级和潜变量方差,并验证残差损失权重是否会导致动作分支占优。
- 生成式推理成本:条件流匹配避免逐 token 自回归解码,却可能需要多步 ODE 求解。减少采样步数会直接影响残差预测质量,不能只按理论 FLOPs 判断闭环可行性。
- 表示偏置:DINOv3 提供的是面向视觉语义的特征空间,不是严格度量空间。背景变化被去除的同时,与任务无关但具有预测价值的状态也可能被弱化,需要与完整未来监督、像素差分和光流残差做对照。
- “无机器人预训练”的边界:该结论指未使用基准演示之外的外部机器人动作轨迹预训练,并不意味着无数据训练;LIBERO、RoboTwin、RoboDojo 的演示轨迹仍是训练信号。
实测表现
| 评测 | 论文报告结果 | 工程解读 | |---|---:|---| | LIBERO-Plus | 81.1% 平均成功率 | 作者称处于领先水平,但需确认动作表示、骨干和演示数据预算是否对齐 | | RoboTwin 2.0 | 93.8% 平均成功率 | 仿真结果较强,仍需检查不同随机种子及长时失败轨迹 | | RoboDojo | 9.40% 成功率,13.41 分 | 相对排名较高,但绝对成功率有限,不能直接等同于成熟部署能力 | | 真机 Open、Put、Stack | 80.0% 平均成功率,较 π₀.₅ 高 10.0% | 摘要未说明 10.0% 是相对提升还是百分点,也未披露试验次数和置信区间 | | 计算开销 | 训练 2.7—4.0 TFLOPs,推理 1.0—1.4 TFLOPs | 未交代按样本、轨迹、控制步还是其他单位统计,暂不能与外部工作直接横比 | | 真机延迟 | 92.7ms | 未给出硬件、视觉预处理和控制频率,需结合尾延迟与动作块长度判断实时性 |
这些数字体现了残差监督在“任务相关信号密度”与“闭环计算成本”之间的潜在 Pareto 优势,但当前材料仍属于论文作者口径。尚缺置信区间、训练种子、逐任务结果、失败类型、能耗和独立复现,尤其需要核验所谓最低训练与推理算力是否在相同骨干、分辨率、精度和动作采样预算下得出。
开发者落地建议
- 先做目标函数消融:固定策略骨干、数据和动作头,分别训练完整未来特征、像素残差、DINOv3 残差与光流残差;同时报告有效特征秩、运动区域召回率和背景误激活率,避免只看最终成功率。
- 拆解闭环延迟:分别记录 DINOv3 前向、视觉 token 传输、DiT 流匹配采样、动作解码和通信耗时,使用 P50、P95 与 P99 延迟,而不只报告平均值。
- 校准多分支训练:监控动作损失、残差损失、梯度范数及各分支激活值;在损失量级明显失衡时再调整权重,避免通过增大残差梯度破坏策略稳定性。
- 处理视觉伪变化:为相机漂移、光照突变、遮挡和背景移动加入负样本或置信度门控;对残差范数异常帧触发重观测、降低动作幅度或进入安全暂停。
- 保留闭环安全层:动作块输出后应配合碰撞检查、速度限制、终止条件和回退策略;世界模型预测不能替代底层控制器与硬件急停。
- 按真实部署口径复测:使用固定相机与本体延迟、相同演示预算和统一算力口径,至少报告多随机种子结果、真机试验次数、失败类别、能耗及跨场景泛化。
结论
ResWAM 最有价值的设计是把世界模型的监督对象从“未来长什么样”改为“未来哪里发生了值得策略关注的变化”,再用轻量双分支 DiT 将这一目标落到动作预测中。其结果说明,静态内容并不一定需要被反复生成;对机器人策略而言,抑制低信息背景可能比扩大视频生成模型更有效。能否把这一优势转化为通用机器人基础设施,仍取决于代码与权重开放情况、算力统计口径、流匹配采样效率和跨平台真机复现。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-14)
主题标签: #世界动作模型 #视觉残差学习 #VLA策略 #DiT #条件流匹配
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区