智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #ActionPiece #VLA模型 #动作标记化 #物理秩一致性 #自回归模型

ActionPiece:重新定义自回归视觉-语言-动作模型的动作标记化方法

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 18 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ActionPiece是一种新型动作标记化方法,旨在解决自回归视觉-语言-动作(VLA)模型中动作调整的保真度问题。传统方法依赖于逐点重建指标(如均方误差),但难以全面反映动作调整的物理一致性。ActionPiece通过引入物理秩一致性(PRC)指标,评估动作标记化在重建后对局部物理距离排序的保留情况,并通过联合监督表示学习和量化过程来增强动作关系的保留。实验结果表明,在Qwen3-VL-4B模型训练环境下,ActionPiece在多个基准测试中表现优异,显著提升了动作标记化的物理关系保真度。


背景与挑战

在自回归视觉-语言-动作(VLA)模型中,动作标记化(Action Tokenization)是一个关键环节,它决定了策略训练的目标以及从预测标记中恢复的可执行命令。传统方法主要依赖逐点重建指标(如均方误差 MSE)来评估标记化的保真度,但这种方法无法全面反映动作调整的物理一致性。在数据压缩后,相似动作可能围绕一个代表性动作聚类,而不同上下文所需的动作调整可能被削弱、扭曲甚至反转。

方法与创新

为了解决上述问题,研究团队提出了物理秩一致性(PRC)指标,用于评估标记化在重建后对局部物理距离排序的保留情况。同时,团队提出了ActionPiece方法,通过联合监督表示学习和量化过程来增强动作关系的保留。具体来说,物理秩保留监督编码器和量化特征距离中的远近排序,而量化正则化则将相同的排序应用于码字分配分布。这两个目标共同增强了重建效果,通过冻结解码器生成离散的动作标记,用于标准的自回归策略学习和执行。

实验结果

在相同的Qwen3-VL-4B策略训练环境下,ActionPiece在多个基准测试中表现出色:

  • LIBERO: 94.8%
  • LIBERO-Plus: 68.8%
  • SimplerEnv: 71.9%
  • VLA-Arena L0-L2: 51.5%

此外,组件消融实验表明,两个目标共同提升了PRC和策略成功率,证明了物理关系监督对动作标记化的价值。

技术亮点

  • 物理秩一致性(PRC): 提供了一种新的评估动作标记化保真度的方法。
  • 联合监督: 通过表示学习和量化过程的联合监督,增强了动作关系的保留。
  • 性能提升: 在多个基准测试中,ActionPiece显著提升了VLA模型的动作标记化性能。

行业影响与开发者建议

ActionPiece为VLA模型的动作标记化提供了新的思路和方法,能够有效提升模型在复杂任务中的表现。开发者可以参考该方法,在自己的模型中引入物理秩一致性指标和联合监督机制,以增强动作调整的保真度。此外,该方法还可以应用于其他需要高保真度动作标记化的领域,如机器人控制、虚拟现实等。


消息来源:Hugging Face Daily Papers (2026-09-16)

—— 完 ——

主题标签: #ActionPiece #VLA模型 #动作标记化 #物理秩一致性 #自回归模型

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…