智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #多模态大模型 #推理优化 #视觉token剪枝 #注意力预测

MAP:基于问题对比的中间层注意力预测方法,提升多模态大模型推理效率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:本文提出了一种名为中间层注意力预测(MAP)的新方法,用于优化多模态大语言模型(MLLMs)的推理效率。MAP通过问题对比教师选择机制,动态识别样本特定的教师层,并将其注意力蒸馏到一个轻量级预测器中,从而在推理阶段实现视觉token的重要性预测。实验结果表明,MAP在保留97.5%模型性能的同时,仅需处理5.56%的视觉token,实现了3.09倍的端到端加速。这一方法不仅提升了MLLMs的推理效率,还为视觉token剪枝提供了更灵活、更高效的解决方案。


技术背景与挑战

多模态大语言模型(MLLMs)在处理视觉-语言任务时表现出色,但其推理效率受限于处理大量视觉token的成本。视觉token剪枝是一种有效的优化手段,但需要准确估计token的重要性。当前方法通常使用预定义的中间层注意力来选择保留的视觉token,但存在两个主要问题:

  1. 不同样本中,最能响应问题的层可能差异较大,使用固定层会导致次优结果。
  2. 获取适当中间层的注意力需要通过多个语言模型层处理大量视觉token,这会导致大量计算资源的浪费。

方法与创新

为了解决上述问题,本文提出了一种名为中间层注意力预测(MAP)的新方法,其主要创新点包括:

  • 问题对比教师选择机制:通过对比原始问题和参考问题的注意力,动态识别样本特定的教师层。
  • 注意力蒸馏与轻量级预测器:将选定的教师层注意力蒸馏到一个轻量级预测器中,该预测器从多模态输入特征中估计视觉token的重要性。
  • 推理阶段剪枝:在推理阶段,MAP结合预测的重要性分数和多样性标准,在第一个语言模型层之前对视觉token进行剪枝。

实验结果与性能

MAP在LLaVA-NeXT-7B模型上的十个基准测试中表现出色:

  • 性能保留:保留了97.5%的未剪枝模型性能。
  • 视觉token使用率:仅需处理5.56%的视觉token。
  • 加速效果:实现了3.09倍的端到端加速。

技术亮点

  • 动态适应性:MAP能够根据不同样本动态选择最合适的教师层,避免了固定层方法的局限性。
  • 高效性:通过轻量级预测器,MAP在推理阶段无需生成注意力图,与现有推理加速技术兼容。
  • 可扩展性:该方法可应用于各种多模态大模型,具有广泛的应用前景。

行业影响与开发者建议

MAP的提出为多模态大模型的推理效率优化提供了新的思路,尤其适用于资源受限的应用场景,如移动设备或边缘计算。开发者可以参考MAP的方法,设计更高效的视觉token剪枝策略,并探索其在其他领域的应用潜力。

未来展望

未来研究可以进一步优化MAP的预测器架构,并探索其在更大规模模型和更复杂任务中的表现。此外,MAP还可以与其他推理加速技术结合,以实现更全面的性能提升。

原文出处

来源:arXiv:2608.06411v1


消息来源:ArXiv AI (cs.AI) (2026-08-10)

—— 完 ——

主题标签: #多模态大模型 #推理优化 #视觉token剪枝 #注意力预测

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…