智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #视频生成 #KV缓存量化 #QuantWM

Hugging Face发布QuantWM:革新视频世界模型KV缓存量化技术

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 2 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face推出了一种名为QuantWM的新型2-bit KV缓存量化框架,专为视频世界模型设计。该技术通过量化感知聚类(QSAC)和主空间注意力补偿(PSAC)两种互补方法,有效缓解了量化过程中注意力偏移问题,从而显著提升了视频生成的质量和时序一致性。实验结果表明,QuantWM在多个基准测试中表现优异,实现了高达6.20倍的KV缓存内存压缩,同时保持了较低的计算开销,为视频生成领域的效率优化提供了重要突破。


技术背景与挑战

视频世界模型通过在生成过程中存储KV缓存来实现长程时序一致性,但随着缓存的增长,KV缓存内存成为部署的主要瓶颈,这促使研究者探索低比特量化技术以提升效率。现有的2-bit KV缓存量化方法在VBench基准测试中几乎可以实现无损性能,但应用于视频世界模型时,仍会导致严重的时序闪烁和视觉质量下降。

技术创新

QuantWM通过以下两种关键技术解决了上述问题:

  1. 量化感知聚类(QSAC):该方法联合考虑历史查询敏感性和残差范围,以选择对INT2友好的关键点中心,从而在注意力更关键的通道中减少量化误差。
  2. 主空间注意力补偿(PSAC):利用低秩投影沿着主查询子空间恢复剩余的关键点误差,提供了一种直接且高效的校正方法,以稳定注意力逻辑。

实验结果

在LingBot-World-v2、HY-World 1.5、Matrix-Game-2、Longcat-Video和Causal-Forcing等多个基准测试中,QuantWM显著提升了视觉质量和时序一致性,同时在KV缓存内存压缩方面表现出色,压缩率高达6.20倍,且计算开销有限。

行业影响与开发者建议

  • 对行业的影响:QuantWM为视频生成领域提供了高效的KV缓存量化解决方案,有助于降低内存需求和计算成本,推动视频生成技术的广泛应用。
  • 对开发者的建议:开发者可以利用QuantWM框架优化视频世界模型的部署,特别是在资源受限的环境中。此外,QSAC和PSAC技术也可以应用于其他需要高精度量化的领域,如图像处理和自然语言处理。

未来展望

QuantWM展示了在低比特量化领域的巨大潜力,未来可以进一步探索其在多模态模型和实时系统中的应用。此外,结合其他优化技术,如模型剪枝和知识蒸馏,可以进一步提升量化模型的性能。


消息来源:Hugging Face Daily Papers (2026-09-28)

—— 完 ——

主题标签: #Hugging Face #视频生成 #KV缓存量化 #QuantWM

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…