ArXiv提出VisCache框架:革新视觉大语言模型推理效率
摘要:ArXiv团队提出了一种名为VisCache的新框架,旨在提升视觉大语言模型(VLLM)的推理效率。VisCache通过两阶段处理——首先过滤时间冗余的关键帧,然后采用一种名为PruneKV的精准KV缓存压缩算法——实现了高达2.35倍的推理加速,同时显著减少了内存占用,同时保持了与现有方法相当的性能。该框架在多个基准测试中表现优异,为长上下文VLLM推理的效率与性能平衡提供了新的解决方案。
背景与挑战
视觉大语言模型(VLLM)在多模态推理任务中取得了显著成功,但其长上下文推理仍然面临计算和内存开销过大的问题。现有的KV缓存压缩方法通常对视觉token和层进行统一剪枝,导致信息损失严重,性能下降明显。
VisCache框架
为了应对这一挑战,ArXiv团队提出了VisCache,这是一种即插即用的框架,用于对视觉KV缓存进行粗到细的无训练剪枝。VisCache包含两个协同阶段:
- 轻量级VLM过滤时间冗余:通过选择性地转发语义信息丰富的关键帧,过滤掉时间上的冗余信息。
- PruneKV算法:一种针对VLLM注意力动态的精准KV压缩算法。与传统的刚性剪枝策略不同,PruneKV采用抛物线层预算分配和不对称更新机制,选择性地剪枝keys并融合values,从而保留关键上下文信息。
实验结果
VisCache在多个基准测试中表现出色:
- 推理速度提升:最高可达2.35倍。
- 内存占用减少:显著降低,同时保持与现有方法相当的性能。
- KV缓存保留率:仅需19-28%的KV缓存保留率即可实现高效推理。
VisCache在效率与性能之间建立了新的帕累托前沿,超越了现有的基线方法。
技术亮点
- 两阶段处理:结合时间冗余过滤和精准KV压缩,实现高效推理。
- 抛物线层预算分配:优化KV缓存剪枝策略,保留关键信息。
- 不对称更新机制:在剪枝keys的同时融合values,进一步提升效率。
行业影响与开发者建议
VisCache为VLLM的开发者提供了一种高效的推理优化方案,尤其适用于对长上下文处理有较高需求的场景。开发者可以参考VisCache的框架设计,优化现有模型的推理流程。此外,VisCache的代码已开源,开发者可以快速集成并测试其性能。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-25)
主题标签: #VisCache #VLLM #推理优化 #KV缓存 #多模态
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区