Hugging Face发布ALLOT：基于输出测试的无训练稀疏注意力分配方法革新视频扩散Transformer

摘要：Hugging Face提出了一种名为ALLOT（Allocating Layer-step Latency by Output Tests）的新方法，用于视频扩散Transformer中的无训练稀疏注意力分配。该方法通过探测单元贡献和轨迹校准优化注意力密度，在保证推理速度的同时显著提升视频生成质量。在HunyuanVideo数据集上的实验表明，ALLOT在相同或更短的运行时间内实现了11.8 dB的PSNR提升，展示了其在视频生成任务中的强大潜力。

---

技术机制剖析

视频扩散Transformer中的全3D注意力机制计算成本高昂，限制了其在实际应用中的效率。ALLOT通过以下机制解决了这一问题：

1. 单元探测与轨迹校准：将每一层-步骤对视为一个单元，通过探测单元对最终视频误差的贡献，并进行轨迹校准，评估每个单元对视频保真度的影响。
2. 联合优化：在测量延迟预算下，联合优化单元密度，以在保证推理速度的同时最大化视频质量。
3. 无训练设计：ALLOT无需重新训练模型，仅替换分配组件，保留了现有的选择策略和内核，使其易于集成到现有系统中。

工程权衡与实测表现

• 优势：
  • 性能提升：在HunyuanVideo数据集上，ALLOT在相同或更短的运行时间内实现了11.8 dB的PSNR提升，显著优于其他稀疏注意力分配策略。
  • 通用性强：在Wan2.1、Wan2.2和HunyuanVideo数据集上的四个已发布管道中，ALLOT在所有九种设置中均表现出色或持平于默认配置。
• 权衡：
  • 计算开销：尽管ALLOT减少了注意力计算量，但其单元探测和轨迹校准过程可能引入额外的计算开销，需要在具体应用中权衡。
  • 适用场景：ALLOT在视频生成任务中表现优异，但在其他类型的Transformer模型中，其效果尚需进一步验证。

开发者落地与部署建议

1. 集成建议：ALLOT可以无缝集成到现有的视频扩散Transformer模型中，建议开发者首先在小型数据集上进行测试，以评估其对特定任务的适用性。
2. 优化策略：结合ALLOT的单元探测和轨迹校准结果，开发者可以进一步优化模型架构，以实现更高效的资源利用和性能提升。
3. 资源管理：在资源受限的环境中，开发者可以调整延迟预算，以平衡推理速度和视频质量。

结论

ALLOT为视频扩散Transformer提供了一种高效的无训练稀疏注意力分配方法，显著提升了视频生成质量，同时保持了推理效率。其创新性设计和优异表现使其成为视频生成领域的又一重要工具。

---

消息来源：Hugging Face Daily Papers (2026-10-21)

—— 完 ——

主题标签： #Hugging Face 关注 #视频生成 关注 #稀疏注意力 关注 #Transformer 关注 #ALLOT 关注