Hugging Face发布DoSA：革新稀疏注意力计算，显著提升索引速度

摘要：Hugging Face推出了一种名为DoSA (Dots Sparse Attention)的新方法，用于优化稀疏注意力机制中的计算效率。DoSA通过条件化计算和精确的token选择，显著减少了不必要的评分操作。其核心机制包括种子集提供的获胜阈值、非负头投影和联合残差边界等，这些技术共同作用以减少计算开销。实验表明，DoSA在多个基准测试中表现出色，在GLM-5.2和DeepSeek-V3.2模型上分别实现了1.94倍和1.50倍的首个token生成速度提升。

---

核心突破

Hugging Face推出的DoSA (Dots Sparse Attention)是一种针对稀疏注意力机制的新型优化方法，旨在解决传统稀疏注意力计算中效率低下的问题。稀疏注意力机制虽然减少了需要访问的键数量，但在寻找这些键时仍需对每个索引器头进行评分操作。DoSA通过以下核心机制解决了这一问题：

1. 种子集与获胜阈值：种子集为获胜阈值提供了一个下界，从而减少不必要的评分操作。
2. 非负头投影与联合残差边界：通过非负头投影和联合残差边界，上界化正贡献，同时通过激活信息聚合边界负头的减法幅度。
3. 精确分数过滤：进一步减少回写和选择工作，确保只有符合条件的候选者才进行完整评分。

技术机制剖析

DoSA的核心在于其条件化计算方法。通过引入种子集，DoSA能够动态调整评分范围，避免对所有键进行评分。此外，非负头投影和联合残差边界技术确保了计算过程的稳定性和效率。激活信息聚合边界则进一步优化了负贡献的处理方式。

工程权衡与实测表现

DoSA在多个基准测试中表现出色，尤其是在GLM-5.2和DeepSeek-V3.2模型上的应用，展示了其在实际场景中的潜力。实验结果表明，DoSA在处理英文、中文和代码工作负载时，能够显著提升索引器的速度，分别比SGLang和LiteTopK快2.74倍和1.69倍。此外，DoSA在端到端评估中，GLM-5.2和DeepSeek-V3.2的首个token生成速度分别提升了1.94倍和1.50倍。

开发者落地与部署建议

对于开发者而言，DoSA提供了一种高效的稀疏注意力计算方案，特别适用于对延迟和计算资源敏感的应用场景。部署时，建议结合具体模型和任务进行微调，以充分发挥其性能优势。同时，开发者可以利用DoSA的开源实现，快速集成到现有项目中，显著提升模型的推理效率。

---

消息来源：Hugging Face Daily Papers (2026-09-26)

—— 完 ——

主题标签： #Hugging Face 关注 #稀疏注意力 关注 #DoSA 关注 #深度学习 关注 #模型优化 关注