智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #VisCache #VLLM #推理优化 #KV缓存 #多模态

ArXiv提出VisCache框架:革新视觉大语言模型推理效率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 3 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为VisCache的新框架,旨在提升视觉大语言模型(VLLM)的推理效率。VisCache通过两阶段处理——首先过滤时间冗余的关键帧,然后采用一种名为PruneKV的精准KV缓存压缩算法——实现了高达2.35倍的推理加速,同时显著减少了内存占用,同时保持了与现有方法相当的性能。该框架在多个基准测试中表现优异,为长上下文VLLM推理的效率与性能平衡提供了新的解决方案。


背景与挑战

视觉大语言模型(VLLM)在多模态推理任务中取得了显著成功,但其长上下文推理仍然面临计算和内存开销过大的问题。现有的KV缓存压缩方法通常对视觉token和层进行统一剪枝,导致信息损失严重,性能下降明显。

VisCache框架

为了应对这一挑战,ArXiv团队提出了VisCache,这是一种即插即用的框架,用于对视觉KV缓存进行粗到细的无训练剪枝。VisCache包含两个协同阶段:

  1. 轻量级VLM过滤时间冗余:通过选择性地转发语义信息丰富的关键帧,过滤掉时间上的冗余信息。
  2. PruneKV算法:一种针对VLLM注意力动态的精准KV压缩算法。与传统的刚性剪枝策略不同,PruneKV采用抛物线层预算分配和不对称更新机制,选择性地剪枝keys并融合values,从而保留关键上下文信息。

实验结果

VisCache在多个基准测试中表现出色:

  • 推理速度提升:最高可达2.35倍。
  • 内存占用减少:显著降低,同时保持与现有方法相当的性能。
  • KV缓存保留率:仅需19-28%的KV缓存保留率即可实现高效推理。

VisCache在效率与性能之间建立了新的帕累托前沿,超越了现有的基线方法。

技术亮点

  • 两阶段处理:结合时间冗余过滤和精准KV压缩,实现高效推理。
  • 抛物线层预算分配:优化KV缓存剪枝策略,保留关键信息。
  • 不对称更新机制:在剪枝keys的同时融合values,进一步提升效率。

行业影响与开发者建议

VisCache为VLLM的开发者提供了一种高效的推理优化方案,尤其适用于对长上下文处理有较高需求的场景。开发者可以参考VisCache的框架设计,优化现有模型的推理流程。此外,VisCache的代码已开源,开发者可以快速集成并测试其性能。


消息来源:ArXiv cs.AI (2026-08-25)

—— 完 ——

主题标签: #VisCache #VLLM #推理优化 #KV缓存 #多模态

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…