Hugging Face发布MambaAct:高效流匹配视觉-语言-动作模型解决方案
摘要:Hugging Face推出MambaAct,旨在解决流匹配视觉-语言-动作(VLA)模型在实时控制中的推理效率瓶颈问题。通过采用紧凑的Mamba架构替代传统的基于Transformer的动作专家,MambaAct在保持视觉-语言前缀编码器的同时,将动作专家的参数量缩减至原来的1/10,大幅降低了推理延迟。在LIBERO和真实世界部署中,MambaAct分别实现了64.8%和58.8%的延迟降低,同时在多个基准测试中提升了任务成功率,展示了其在机器人操作等领域的应用潜力。
技术机制剖析
MambaAct的核心创新在于将传统的基于Transformer的动作专家替换为基于Mamba的紧凑动作专家。Mamba架构在处理长序列依赖性方面具有天然优势,尤其适合处理流匹配VLA模型中反复评估的动作专家。具体来说,MambaAct通过以下机制实现了高效的性能提升:
- Mamba动作混合器:Mamba作为动作混合器,负责对噪声连续动作序列中的依赖关系进行建模,从而替代了传统Transformer的注意力机制。
- 轻量级上下文压缩器:为了避免重复的token级跨注意力计算,MambaAct引入了一个轻量级的上下文压缩器,将视觉-语言模型的prefix tokens映射为紧凑的条件信号,用于门控和调节每个Mamba动作块。
工程权衡与实测表现
MambaAct在多个方面实现了显著的优化:
- 参数量与计算效率:MambaAct的动作专家参数量仅为原来的1/10,大幅降低了计算成本。
- 延迟降低:在LIBERO基准测试中,MambaAct将流匹配去噪延迟降低了64.8%;在真实世界部署中,降低了58.8%。
- 任务成功率:在三个独立的微调种子下,MambaAct在LIBERO上的平均成功率提高了1.08个百分点,并在LIBERO-Plus和真实世界基准测试中保持了性能提升。
然而,MambaAct的优化也伴随着一些权衡。例如,Mamba架构在处理极长序列时可能面临内存瓶颈。此外,尽管延迟降低显著,但MambaAct在某些极端场景下的鲁棒性仍需进一步验证。
开发者落地与部署建议
对于开发者而言,MambaAct的发布提供了以下几方面的机会:
- 实时控制应用:MambaAct特别适合需要低延迟和高任务成功率的实时控制应用,如机器人操作和自动化系统。
- 模型优化:开发者可以利用MambaAct的架构改进现有VLA模型,提升其推理效率。
- 跨领域迁移:MambaAct的架构改进方法可以迁移到其他需要高效序列处理的领域,如自然语言处理和视频分析。
建议开发者在部署MambaAct时,关注其内存使用情况,并根据具体应用场景进行微调,以充分发挥其性能优势。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-10-16)
主题标签: #Hugging Face #MambaAct #VLA模型 #实时控制 #模型优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区