SLA将空间对齐前置到持续预训练，增强VLA三维泛化

摘要：SLA面向视觉-语言-动作模型普遍依赖二维视觉预训练、三维空间能力仅在任务适配阶段形成的问题，将空间对齐能力扩展到持续预训练。方法以pi05策略为初始化，联合优化动作预测与中间视觉表征到冻结三维感知表征的映射，并通过特征依赖门控融合多个VLA层，适配异构机器人数据。深度、相机标定和状态随机丢弃进一步利用不完整几何标注并抑制轨迹捷径；训练辅助模块在推理时被移除，不改变原有策略结构。

---

技术思路：把空间能力前移到基础策略阶段

SLA（Spatial-Language-Action）从预训练的 pi05 策略出发，在持续预训练阶段同时学习动作预测与隐式空间对齐。核心目标不是简单增加一个深度估计任务，而是让视觉编码器的中间特征与冻结三维感知模型产生的空间表征建立映射，从而把可迁移的三维几何信息注入 VLA 的视觉表征。

从优化角度看，训练目标可概括为：

[ \mathcal{L}=\mathcal{L}{action}+\lambda{sp}\mathcal{L}_{align} ]

其中，动作损失约束策略生成可执行动作，空间对齐损失约束 VLA 中间视觉特征接近冻结三维感知模型提供的空间表示。关键变化在于，空间监督与动作学习从传统的后训练分工，进入同一持续预训练过程，使模型在接触下游任务前就形成更稳定的几何表征。

多层特征融合：面向异构机器人数据的适配层

SLA 没有只选择单一 Transformer 层作为对齐对象，而是引入特征依赖门控，对多个 VLA 层的视觉嵌入进行自适应聚合。其动机很直接：不同层通常编码不同抽象层次，低层偏纹理、轮廓和局部几何，高层偏语义与任务相关性；单一层无法稳定覆盖不同本体、传感器和场景带来的分布偏移。

门控机制可视为逐特征、逐样本的软路由：

[ \mathbf{z}=\sum_l g_l(\mathbf{x}),W_l\mathbf{h}_l ]

其中，(\mathbf{h}_l) 是第 (l) 层视觉特征，(W_l) 负责维度对齐，(g_l) 则依据输入状态分配聚合权重。它比固定拼接更节省训练显存，也比人工选择层位更能适应异构数据。不过，该模块仍会增加训练期投影计算和超参数选择成本；论文摘要没有给出门控参数量、收敛稳定性及与固定层融合的消融结果。

利用不完整几何标注

机器人数据通常不会同时具备一致的深度图、相机内参和标定信息。SLA 的教师端并非要求完整三维标注，而是尽可能利用部分可用的深度与相机标定，并结合 RGB 观测生成空间监督。

这种设计扩大了可训练数据规模，但工程上存在噪声传播风险：低质量深度会造成尺度与局部几何偏差，错误外参则可能把空间目标投到错误方向。若教师监督误差过大，VLA 可能学习到“看似对齐、实际不一致”的表征，因此数据质量过滤、置信度加权及不同传感器之间的标定一致性，是复现该方法时必须优先检查的环节。

状态随机丢弃：抑制演示轨迹捷径

训练数据通常同时包含 RGB 图像和机器人状态，如关节角、末端位姿或夹爪状态。如果模型在训练时可以直接读取状态，便可能绕过视觉和空间推理，从演示轨迹中提取捷径。SLA 引入概率化状态丢弃，随机移除部分状态输入，迫使策略更多依赖视觉线索。

其代价是训练样本的有效信息量下降，并可能增大梯度方差；丢弃率设置过高会削弱精细操作所需的状态估计能力，过低则无法有效抑制捷径。因此，这一机制应按任务区分：依赖触觉或关节反馈的操作可能需要保留状态，而以视觉为主要传感器的抓取任务更适合强化状态随机化。

推理成本与部署兼容性

SLA 的重要工程优势是，三维教师、特征门控和状态丢弃均只用于训练。部署时仍复用原有 VLA 权重和推理图，不增加深度模型或额外视觉分支，也不需要为每一步动作执行显式三维重建。

这意味着相对于增加在线几何模块的方案，SLA 的部署延迟增量可能较小，硬件门槛也更接近原始 pi05 策略。不过，其训练成本并不低：持续预训练需要处理异构机器人轨迹，同时运行冻结三维教师并对齐多个 VLA 中间层，显存、存储和吞吐量都会高于普通动作微调。模型是否真正优于扩大动作数据规模的常规后训练方法，也需要直接对照验证。

评测可信度与待验证问题

现有摘要未披露 SLA 的任务清单、数据规模、基线设置和具体成功率，因此不能仅凭方法设计判断性能上限。关键评测应覆盖以下对照：

• 仅在下游任务上加入空间监督的常规微调；
• 相同异构数据与训练预算、但不含空间对齐的持续预训练；
• 完整 SLA、固定层融合及不使用状态随机丢弃的消融版本；
• 按机器人本体、场景、物体和任务分别留出，检验真正的跨域泛化，而非同分布数据扩充。

机器人评测还应同时报告动作成功率、空间关系错误、失败类型、训练算力及真实硬件推理延迟。如果随机场景下的平均成功率提升，却在新本体或遮挡场景明显退化，则模型可能只是吸收了数据集统计规律，而非形成了稳定可迁移的空间能力。

开发者落地建议

复现 SLA 时，建议先保留 pi05 原始推理结构，只在训练阶段接入冻结三维教师；按数据源拆分 RGB、深度、标定和状态字段，对缺失几何信息进行掩码，而不是插补成“看似完整”的深度。多层门控可先从固定融合基线开始，再依据本体或传感器类型学习路由。

数据层面应按场景、本体、任务和采集站点建立独立切分，并加入跨域留出，避免同一物体或同一轨迹模板同时出现在训练集和测试集。部署前还需检查状态 dropout 后策略是否仍依赖历史动作闭环，否则视觉泛化提升可能以控制稳定性下降为代价。

---

消息来源：Hugging Face Daily Papers (2026-11-05)

—— 完 ——

主题标签： #VLA 关注 #空间语言动作模型 关注 #机器人持续预训练 关注 #三维视觉对齐 关注 #具身智能 关注