智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #ScaleVLA #视觉语言动作模型 #机器人学习 #Action DiT #DeepSeek-V4.1-Flash

ScaleVLA以552B视觉语言底座提升机器人泛化与操作精度

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 1 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ScaleVLA将论文所称的552B DeepSeek-V4.1-Flash VLM与可训练Action DiT连接,在统一训练设置下比较2B至552B模型。摘要报告:10次示范的成功率达到87.8%,高于2B模型使用50次示范的85.6%;LIBERO-PRO成功率达45.1%,较小型基线最高31.3%提升13.8个百分点;真机充电器插入由4/10升至9/10,动作块中位延迟为216ms。结果指向更大模型表征可降低机器人数据需求,但训练算力、激活参数、方差、硬件和代码尚未披露,规模化收益仍缺乏经济性验证。


ScaleVLA把一个552B规模的视觉语言模型与可训练的Action DiT连接起来,用于回答一个比单纯追求机器人成功率更具体的问题:前沿VLM中的通用视觉与语言表征,能否成为机器人动作策略的高质量底座,而不是只充当任务规划或推理代理。

架构:通用表征与动作生成分层

在该设计中,VLM负责把图像、任务语言和其他观测编码为语义表征,Action DiT则基于这些表征生成连续动作块。按照DiT的常规实现,动作头会在带噪动作序列上执行多步去噪;但当前材料没有披露动作维度、动作块长度、DiT层数、扩散采样步数、归一化方式,也没有说明552B底座是否完全冻结。

这种分层结构的工程意义在于:机器人不必从零学习物体、任务和空间关系,而可以把高成本计算集中在通用表征提取阶段,再由较小的动作头完成连续控制输出。不过,它是否真的节省算力,取决于VLM在每个动作块中只执行一次前向,还是会在扩散去噪的每一步重复调用视觉语言骨干。摘要只给出了216ms的动作块中位延迟,尚不足以还原完整执行图。

研究还采用共享训练设置横向比较2B至552B的VLM。统一数据配方和训练流程有助于观察规模趋势,但仍不能完全隔离预训练语料、模型架构、激活参数、视觉编码器和动作头容量等混杂因素。

论文报告的实测表现

| 能力维度 | ScaleVLA结果 | 对照结果 | 工程解读 | |---|---:|---:|---| | 示范样本效率 | 10次示范,87.8% | 2B模型使用50次示范,85.6% | 数据量减少5倍,但成功率只提高2.2个百分点 | | 分布外泛化 | LIBERO-PRO成功率45.1% | 小型底座最高31.3% | 绝对提升13.8个百分点,但仍存在明显失败空间 | | 真机精细操作 | 充电器插入9/10 | 4/10 | 增益集中在接触敏感的对齐阶段 | | 在线执行 | 动作块中位延迟216ms | 未给出对照 | 约合每秒4.63个动作块,不等同于单步控制频率 |

样本效率结果是论文最有吸引力的部分:大规模预训练表征可能让策略从更少的机器人示范中提取可用先验。不过,这不能直接解释为训练成本下降五倍。552B模型即使只展示少量示范,其预训练和推理计算仍远高于2B模型;论文证明的是数据效率,而不是算力效率。

LIBERO-PRO的45.1%也表明规模扩展带来收益,但没有解决泛化问题。该结果与小型基线之间相差13.8个百分点,相对提升约44%,但成功率仍不到一半。对于接触丰富、需要精密施力或强视觉遮挡的机器人任务,这一水平距离可靠部署仍有明显差距。

真机充电器插入从4/10提高到9/10看起来幅度很大,但样本只有10次,统计区间很宽。粗略采用Wilson区间估算,两组成功率的不确定性分别约为17%—69%和60%—98%,因此仍需更多回合、多个物体实例和随机种子验证。

工程权衡:能力增益不等于部署可行

如果552B是稠密模型,仅权重就构成巨大门槛。按内存 ≈ 参数量 × 每参数字节数估算,BF16权重约需1.10TB,FP8约需552GB,INT4理论下限约276GB,而且这些数字尚未包括量化比例因子、视觉编码器、DiT、KV Cache、运行时工作区和通信缓冲。若底座实际采用MoE,计算量由激活参数决定,但全部专家仍可能需要驻留或跨节点切分,并引入路由及All-to-All通信开销。

训练成本取决于552B骨干是否参与反向传播。当前描述只明确Action DiT可训练;若VLM冻结,梯度和优化器状态会明显降低,但推理时仍需装载全部权重。若进行全参数微调,混合精度Adam的粗略状态开销可达到每参数约12字节,对应约6.6TB,此外还要承担激活和通信成本。

216ms只是中位延迟。机器人安全控制更关心p95、p99、抖动和失效恢复时间。动作块可以摊薄VLM调用频率,但如果块内动作开环执行,实际闭环频率还取决于动作块长度、观测更新频率以及是否采用滚动重规划。DiT的采样步数、视觉预处理、网络传输和安全控制器开销也未计入说明。

此外,VLM的语义知识不能自动替代物理接触建模。摘要没有说明系统是否使用力矩、触觉、深度或本体感知。对于插拔、装配和柔性物体等任务,视觉语言预训练提供的是对象与任务先验,最终精度仍取决于动作头能否建模接触动力学、摩擦和执行器误差。

评测可信度:统一设置仍不等于严格因果证明

共享训练设置是论文的重要优点,但判断规模效应还需要补齐以下控制项:

  • 固定预训练数据规模、视觉编码器、动作头容量和训练Token,分别比较不同参数规模;
  • 区分等数据、等训练算力和等推理预算三种对照口径;
  • 报告多随机种子、每回合样本量、置信区间及失败类型分布;
  • 增加参数匹配的普通VLM、非VLM视觉骨干及不使用语言输入的消融,以确认增益来自语言语义还是模型容量;
  • 验证LIBERO-PRO的任务组成、训练污染风险和不同随机初始化的稳定性;
  • 将视觉预处理、动作解码、网络传输和安全层纳入端到端时延测量。

尤其是87.8%对85.6%的2.2个百分点差异,在缺少测试规模与方差时不能判断统计显著性;LIBERO-PRO的13.8个百分点差异则更值得进行独立复现。

开发者落地建议

  1. 先复现缩放曲线,而不是直接复制552B部署。 在同一模型家族内测试2B、7B、14B和32B底座,固定动作数据、训练配方与评测协议,确认性能增益是否连续。
  2. 把数据效率与算力效率分开核算。 记录预训练成本、策略训练Token、每回合示范成本和推理能耗,避免仅凭少量示范下的高成功率判断总体经济性。
  3. 优先尝试冻结骨干、LoRA或Adapter。 若基座更新不是主要收益来源,只训练动作头或轻量适配器可降低训练存储和灾难性遗忘风险。
  4. 用动作分块配合滚动重规划。 以Receding-horizon方式持续刷新观测,并设置碰撞、力矩和速度安全壳;216ms中位延迟不能替代尾延迟控制。
  5. 针对接触任务补充传感与数据。 对插拔等高精度任务,应显式加入触觉、力矩或深度,并优先收集接触阶段、对齐失败和恢复动作,而不是只增加普通视频。
  6. 生产准入应要求完整工程指标。 至少报告权重加载方式、单机或多机拓扑、batch size为1时的p50/p95/p99、显存占用、功耗、吞吐、故障降级策略以及可复现实验配置。

结论

ScaleVLA的价值不在于证明机器人必须使用552B模型,而在于提供了同设置规模比较下的证据:更强的视觉语言预训练表征可能减少机器人示范需求,并改善分布外泛化与接触操作。与此同时,552B带来的权重、算力和部署负担意味着,小型VLM加参数高效适配、动作蒸馏和专用连续控制头,仍是更现实的工程路线。当前结果适合被视为重要研究信号,而不是已经完成工程验证的机器人基础模型。


消息来源:Hugging Face Daily Papers (2026-11-16)

—— 完 ——

主题标签: #ScaleVLA #视觉语言动作模型 #机器人学习 #Action DiT #DeepSeek-V4.1-Flash

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…