Hugging Face发布Velox：基于几何流数据的区域级注意力路由提升视频生成效率

摘要：Hugging Face推出了一款名为Velox的创新模型，旨在解决视频生成中由于KV缓存膨胀导致的效率瓶颈问题。Velox通过使用基于几何流数据的区域级注意力路由技术，显著提升了视频生成的速度和效率。其核心机制包括使用视锥体切片表示历史块，并通过多扭曲技术获取当前块的深度信息，从而实现对覆盖区域和未覆盖区域的高效处理。在H200硬件上，Velox在第48个区块时将注意力计算速度提升了4.36倍，去噪速度提升了2.43倍，并在WBench导航任务中表现出色。

---

技术机制剖析

Velox通过以下核心机制解决了视频生成中的效率问题：

1. 视锥体切片表示历史块：Velox将历史块表示为具有深度区间的视锥体切片。这种表示方法能够有效捕捉场景的空间信息，并支持高效的深度信息检索。

2. 多扭曲技术：通过多扭曲技术，Velox能够从流式几何数据中获取当前块的深度信息。这种方法确保了深度信息的准确性和实时性。

3. 区域级注意力路由：Velox使用区域级注意力路由技术，根据视锥体切片匹配结果对每个层的模型派生块重要性进行软调制。对于覆盖良好的区域，注意力路由会调整模型派生的块重要性，而对于未覆盖区域，则保留模型派生的路径而不引入几何偏差。

4. 异步构建视锥体切片：视锥体切片的构建与去噪过程在H200硬件上异步运行。这种设计充分利用了硬件资源，进一步提升了整体效率。

工程权衡与实测表现

Velox在提升视频生成效率的同时，也带来了一些权衡：

• 计算资源与内存开销：尽管Velox通过区域级注意力路由减少了KV缓存的增长，但其视锥体切片构建和多扭曲计算仍需要一定的计算资源和内存开销。

• 硬件依赖性：Velox的性能在很大程度上依赖于H200硬件的异步计算能力，这可能限制了其在大规模分布式系统中的适用性。

在实测表现方面，Velox在第48个区块时将注意力计算速度提升了4.36倍，去噪速度提升了2.43倍。在WBench导航任务的158个案例中，Velox的表现与密集的LingBot-Fast-Cam模型仅相差0.15个API-free平均点，展示了其在保持生成质量的同时显著提升效率的能力。

开发者落地与部署建议

对于开发者来说，Velox的引入为视频生成任务提供了新的优化方向。以下是一些建议：

1. 硬件选择：建议在配备H200硬件的环境中使用Velox，以充分发挥其性能优势。

2. 模型集成：Velox可以与现有的视频生成模型无缝集成，开发者可以通过调整注意力路由策略来优化特定任务的性能。

3. 性能调优：根据具体应用场景，开发者可以进一步调整视锥体切片的深度区间和多扭曲参数，以实现最佳的性能和效率平衡。

结论

Velox的发布标志着视频生成领域在效率优化方面的重要进展。其创新的区域级注意力路由技术为解决KV缓存膨胀问题提供了新的思路，并在多个基准测试中表现出色。

---

消息来源：Hugging Face Daily Papers (2026-10-15)

—— 完 ——

主题标签： #Hugging Face 关注 #视频生成 关注 #注意力机制 关注 #几何流数据 关注 #KV缓存优化 关注