arXiv发布DoSA：革新稀疏注意力机制，提升索引效率与推理速度

摘要：arXiv发布了一种名为DoSA (Dots Sparse Attention) 的新型稀疏注意力机制，通过条件化计算和精确的token选择，显著提升了稀疏注意力模型的效率。DoSA的核心在于利用种子集提供获胜阈值下界，并通过非负头投影和联合残差界限限制正贡献，从而减少不必要的计算量。实验结果表明，DoSA在多个基准测试中表现出色，GPU实现相较于SGLang和LiteTopK分别实现了最高2.74倍和1.69倍的加速，在GLM-5.2和DeepSeek-V3.2模型上实现了1.94倍和1.50倍的首个token生成时间提升。

---

技术机制剖析

DoSA (Dots Sparse Attention) 是一种针对稀疏注意力机制的新型优化方法，旨在解决传统稀疏注意力中计算效率低下的问题。其核心思想是：

1. 条件化计算：通过种子集提供获胜阈值下界，避免对所有候选进行完整评分，从而减少计算量。
2. 精确token选择：利用非负头投影和联合残差界限限制正贡献，同时通过激活信息聚合界限负贡献的幅度，确保选择过程的精确性。
3. 证书引导的评分过滤：通过证书引导评分过程，仅对仍具资格的候选进行完整评分，进一步减少回写和选择工作量。

工程权衡与实测表现

• 性能提升：在GPU实现中，DoSA相较于SGLang和LiteTopK分别实现了最高2.74倍和1.69倍的加速。
• 模型适用性：在GLM-5.2和DeepSeek-V3.2模型上，DoSA实现了1.94倍和1.50倍的首个token生成时间提升，展示了其在实际应用中的强大潜力。
• 跨语言与跨任务表现：实验覆盖了英语、中文和代码工作负载，表明DoSA在多种语言和任务类型中均表现出色。

开发者落地与部署建议

1. 硬件要求：由于DoSA在GPU上实现了显著加速，建议在配备高性能GPU的硬件环境中部署。
2. 模型集成：开发者可以将DoSA集成到现有的稀疏注意力模型中，以提升推理效率。
3. 优化策略：建议结合其他优化技术，如量化与剪枝，进一步提升模型性能。

结论

DoSA为稀疏注意力机制带来了新的突破，通过条件化计算和精确的token选择，显著提升了索引效率和推理速度。其在多个基准测试中的优异表现，展示了其在实际应用中的巨大潜力，为AI模型的进一步优化提供了新的方向。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-14)

—— 完 ——

主题标签： #稀疏注意力 关注 #DoSA 关注 #GPU加速 关注 #推理优化 关注 #arXiv 关注