CoWindow 和 MassAlloc Attention:优化长上下文模型计算效率的新方法
文 / Mr.Xu 社区投稿
发布时间: · 6 次阅读
摘要:BitExternal4608 团队提出两种针对长上下文模型注意力机制优化的新方法:CoWindow Attention (CoWA) 和 MassAlloc Attention (MALA)。CoWA 通过互补窗口分配远距离上下文,实现稀疏但覆盖完整的因果历史;MALA 则利用 softmax 统计信息减少低贡献计算量。实验表明,在 128K 令牌的条件下,CoWA 和 MALA 分别实现了 7.4 倍和 2.2 倍的前向计算加速,同时训练 FLOPs 减少了 28.5% 和 23.1%。这些方法在保持模型性能的同时,显著提升了长上下文处理的效率,为 AI 研究人员提供了新的技术路径。
背景与动机
近年来,大语言模型(LLM)在处理长上下文任务时面临计算效率瓶颈。传统的注意力机制在处理长序列时计算开销巨大,限制了模型的可扩展性。BitExternal4608 团队提出了两种新的注意力机制,旨在解决这一问题。
CoWindow Attention (CoWA)
CoWA 通过互补窗口分配远距离上下文,同时共享局部和前缀-后缀窗口。每个注意力头以稀疏方式参与,但所有头的可见位置联合覆盖完整的因果历史。该方法的特点是位置定义,无需学习路由器或索引器。
MassAlloc Attention (MALA)
MALA 保留完整的因果 QK 打分,但利用注意力自身的 softmax 统计信息决定是否执行后续计算。它通过一个通用容忍度减少低贡献的后评分工作,适用于训练和推理场景。
实验结果
在 128K 令牌的条件下,使用 8 个 H100 GPU 进行测试,CoWA 和 MALA 相对于 FullAttn 的注意力操作加速如下:
| 方法 | 前向 | 后向 | 解码 | |------|------|------|------| | CoWA | 7.4x | 8.6x | 3.0x | | MALA | 2.2x | 3.0x | 1.6x |
这些测量仅针对注意力操作,不包括端到端模型加速。在 14B 参数模型和 32K 上下文长度的条件下,CoWA 和 MALA 的训练 FLOPs 分别减少了 28.5% 和 23.1%,且模型性能与 FullAttn 相当。
关键区别
- CoWA 的集体覆盖并不意味着与 FullAttn 的头间交互或输出完全相同。
- MALA 仍然需要支付完整的因果 QK 打分成本。
行业影响与开发者建议
这两种方法为长上下文模型提供了新的优化方向,尤其适用于需要处理极长序列的任务,如法律文档分析、基因组学研究和多模态数据处理。开发者可以考虑将 CoWA 和 MALA 集成到现有模型中,以提升计算效率并降低训练成本。
—— 完 ——消息来源:Reddit r/MachineLearning (2026-09-29)
主题标签: #长上下文模型 #注意力机制 #计算效率优化 #CoWA #MALA
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区