MiniMax发布Video DeltaNet:革新直播视频生成效率
摘要:MiniMax推出了Video DeltaNet (VDN),一种针对直播视频生成优化的混合注意力机制模型。VDN结合了局部Softmax注意力机制和双向线性记忆,以处理长距离视频上下文。其线性分支引入了视频增量注意力(VDA),每帧更新一次内存,并通过可学习的门控机制校准两个分支。VDN-H3在八块NVIDIA B200 GPU上实现了每秒处理14.3秒768p视频的突破性性能,相较于传统方法提升了14.5倍的速度。
技术背景与挑战
视频扩散模型在去噪过程中需要反复处理长距离时空token序列,这使得注意力机制成为主要的计算瓶颈。尽管线性注意力机制在大型语言模型中已被广泛采用,但直接应用于视频模型时,往往难以保留生成高质量视频所需的细粒度交互。
Video DeltaNet (VDN) 的创新点
- 混合注意力机制:VDN结合了局部Softmax注意力机制和双向线性记忆,以处理长距离视频上下文。
- 视频增量注意力(VDA):VDN的线性分支引入了VDA,每帧更新一次内存,并通过联合处理空间token来保持细粒度交互。
- 可学习的门控机制:VDN通过可学习的门控机制校准两个分支的输出,确保模型在不同任务中的适应性。
- 分阶段教师对齐配方:VDN采用分阶段教师对齐配方,将新路径逐步引入预训练模型中,确保模型训练的稳定性和高效性。
技术实现与性能
VDN在MiniMax H3上实现,并应用于视频到视频的交互,同时保留Softmax用于处理文本或音频的交互。通过八步蒸馏和优化的SGLang服务堆栈,VDN-H3在八块NVIDIA B200 GPU上实现了每秒处理14.3秒768p视频的性能,相较于传统方法提升了14.5倍的速度。
行业影响与开发者建议
VDN的发布标志着视频生成领域在处理长距离时空依赖关系方面的重大突破。其高效的性能和创新的架构设计为视频生成任务提供了新的解决方案,尤其适用于直播视频生成等对实时性要求较高的场景。开发者可以参考VDN的架构设计,优化现有视频生成模型的性能,并探索其在其他领域的应用潜力。
未来展望
随着VDN的推出,未来的研究可以进一步探索其在多模态交互、实时视频编辑等领域的应用。此外,VDN的架构设计也为其他类型的扩散模型提供了新的思路,有望推动整个AI视频生成领域的发展。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-17)
主题标签: #MiniMax #视频生成 #混合注意力机制 #VDN #AI加速
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区