智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #低比特量化 #注意力机制 #视频生成 #AI推理优化

Hugging Face发布VC-Attention:低比特注意力机制突破性优化

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face推出了一种名为VC-Attention的新型低比特注意力框架,旨在解决视频生成等长序列任务中注意力机制的性能瓶颈。VC-Attention通过值平滑(V-Smooth)和概率融合(ExpCast-FP8)技术,显著提升了低比特量化的精度和速度。在多个基准测试中,VC-Attention相较于现有低比特基线方法,精度提高了1.13-1.19倍,推理速度在数据中心GPU上提升了1.46-1.59倍,在工作站显卡上提升了2.3-3.6倍。该技术为AI模型在高效推理和低资源消耗场景下的应用提供了新的可能性。


技术突破与核心创新

VC-Attention框架的核心创新点包括:

  • 值平滑(V-Smooth):通过轻量级在线聚类重新排序值令牌,使硬件块中的令牌能够更好地一起量化。该技术仅量化减去块均值后的残差,并通过在线Softmax维护的行和恢复该均值,从而有效减少输出误差。

  • 概率融合(ExpCast-FP8):将对数域分数直接映射到E4M3概率代码,通过一次融合乘加操作消除FP32指数运算和格式转换。这不仅提高了计算效率,还减少了硬件资源消耗。

性能表现

在多个基准测试中,VC-Attention展示了其卓越的性能:

  • 精度提升:在Wan2.2、LongCat-Video、HunyuanVideo-1.5和MiniMax-H3等数据集上,VC-Attention相较于低比特基线方法,精度提高了1.13-1.19倍。

  • 推理速度:在数据中心Blackwell和Hopper GPU上,VC-Attention的推理速度比BF16 FlashAttention-4快1.46-1.59倍;在工作站显卡上,速度提升了2.3-3.6倍。

  • 端到端速度:生成剪辑的速度提高了1.13-1.19倍,端到端速度提升了1.36-1.70倍。

行业影响与开发者建议

VC-Attention的发布为AI模型在高效推理和低资源消耗场景下的应用提供了新的可能性,尤其适用于视频生成、实时处理等对延迟和精度要求较高的任务。开发者可以关注以下几点:

  • 优化低比特量化:VC-Attention展示了低比特量化的新路径,开发者可以尝试将其应用于其他需要高效推理的场景。

  • 硬件适配:VC-Attention的实现已经适配了多种硬件平台,开发者可以根据自身需求进行进一步优化和扩展。

  • 跨领域应用:该技术不仅限于视频生成,还可以尝试应用于其他需要处理长序列数据的领域,如自然语言处理、音频处理等。

结论

VC-Attention的推出标志着低比特注意力机制的重要进步,为AI模型在高效推理和低资源消耗场景下的应用提供了新的技术路径。


消息来源:Hugging Face Daily Papers (2026-09-14)

—— 完 ——

主题标签: #Hugging Face #低比特量化 #注意力机制 #视频生成 #AI推理优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…