ArXiv发布ClusterAttention：训练无关的双向注意力加速方法

摘要：ArXiv发布了一种名为ClusterAttention的新方法，用于加速双向注意力层。该方法采用快速递归聚类技术，根据每个注意力头中键和查询的几何结构生成有效聚类，从而实现训练无关的稀疏注意力机制。实验表明，ClusterAttention在大型表格数据处理中可将速度提升2到6倍，同时保持至少99%的密集精度；在视频生成任务中，其输出更接近密集注意力，且速度提升1.8倍，优于现有方法。

---

核心突破

ArXiv近日发布了一种名为ClusterAttention的新型注意力加速方法，其主要特点包括：

• 训练无关的稀疏注意力机制：ClusterAttention无需依赖输入数据的结构（如语言中的顺序或图像中的空间邻近性），也不依赖于耗时的聚类过程，而是通过快速递归聚类技术，根据每个注意力头中键和查询的几何结构生成有效聚类。

• 灵活的聚类大小设置：该方法允许任意设置聚类大小，并通过将所有聚类大小设置为2的幂次方，使得块稀疏注意力在GPU上的每个查询-键交互的延迟与密集注意力相同。

• 输出误差的理论分析：研究推导了稀疏注意力的输出误差表达式，解释了紧密聚类可能导致比随机聚类更大误差的反直觉实验结果，并提出了通过聚类质心补偿被排除聚类的误差的方法，证明了这种方法可以随着聚类的紧密性提高而减小误差。

技术亮点

1. 性能提升：在大型表格数据处理中，ClusterAttention将TabPFN-3的速度提升了2到6倍，同时保持了至少99%的密集精度。
2. 视频生成领域的应用：在Wan 2.1-14B T2V模型上进行视频生成任务时，ClusterAttention的输出更接近密集注意力，且速度提升1.8倍，优于专门为该领域开发的领先方法SVOO。
3. 理论创新：首次提出了稀疏注意力的输出误差理论，并设计了基于质心补偿的误差减小方法，为稀疏注意力机制的理论研究提供了新的视角。

行业影响

ClusterAttention为AI模型的注意力机制优化提供了新的思路，特别是在资源受限或对实时性要求较高的应用场景中具有重要意义。其训练无关的特性使其在处理非结构化数据时表现出色，为视频生成、表格数据处理等领域带来了更高效的技术方案。此外，该方法也为AI模型的硬件加速和分布式计算提供了新的优化方向。

开发者建议

• 尝试应用：开发者可以在需要高效注意力机制的应用中尝试ClusterAttention，如视频生成、表格数据处理等。
• 性能优化：结合硬件加速技术，进一步提升ClusterAttention在GPU上的运行效率。
• 理论扩展：深入研究稀疏注意力的误差补偿机制，探索其在其他领域的应用潜力。

---

消息来源：ArXiv cs.LG (2026-08-27)

—— 完 ——

主题标签： #ClusterAttention 关注 #稀疏注意力 关注 #双向注意力 关注 #训练无关 关注 #ArXiv 关注