智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #长上下文模型 #注意力机制 #计算效率优化 #CoWA #MALA

CoWindow 和 MassAlloc Attention:优化长上下文模型计算效率的新方法

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:BitExternal4608 团队提出两种针对长上下文模型注意力机制优化的新方法:CoWindow Attention (CoWA) 和 MassAlloc Attention (MALA)。CoWA 通过互补窗口分配远距离上下文,实现稀疏但覆盖完整的因果历史;MALA 则利用 softmax 统计信息减少低贡献计算量。实验表明,在 128K 令牌的条件下,CoWA 和 MALA 分别实现了 7.4 倍和 2.2 倍的前向计算加速,同时训练 FLOPs 减少了 28.5% 和 23.1%。这些方法在保持模型性能的同时,显著提升了长上下文处理的效率,为 AI 研究人员提供了新的技术路径。


背景与动机

近年来,大语言模型(LLM)在处理长上下文任务时面临计算效率瓶颈。传统的注意力机制在处理长序列时计算开销巨大,限制了模型的可扩展性。BitExternal4608 团队提出了两种新的注意力机制,旨在解决这一问题。

CoWindow Attention (CoWA)

CoWA 通过互补窗口分配远距离上下文,同时共享局部和前缀-后缀窗口。每个注意力头以稀疏方式参与,但所有头的可见位置联合覆盖完整的因果历史。该方法的特点是位置定义,无需学习路由器或索引器。

MassAlloc Attention (MALA)

MALA 保留完整的因果 QK 打分,但利用注意力自身的 softmax 统计信息决定是否执行后续计算。它通过一个通用容忍度减少低贡献的后评分工作,适用于训练和推理场景。

实验结果

在 128K 令牌的条件下,使用 8 个 H100 GPU 进行测试,CoWA 和 MALA 相对于 FullAttn 的注意力操作加速如下:

| 方法 | 前向 | 后向 | 解码 | |------|------|------|------| | CoWA | 7.4x | 8.6x | 3.0x | | MALA | 2.2x | 3.0x | 1.6x |

这些测量仅针对注意力操作,不包括端到端模型加速。在 14B 参数模型和 32K 上下文长度的条件下,CoWA 和 MALA 的训练 FLOPs 分别减少了 28.5% 和 23.1%,且模型性能与 FullAttn 相当。

关键区别

  1. CoWA 的集体覆盖并不意味着与 FullAttn 的头间交互或输出完全相同。
  2. MALA 仍然需要支付完整的因果 QK 打分成本。

行业影响与开发者建议

这两种方法为长上下文模型提供了新的优化方向,尤其适用于需要处理极长序列的任务,如法律文档分析、基因组学研究和多模态数据处理。开发者可以考虑将 CoWA 和 MALA 集成到现有模型中,以提升计算效率并降低训练成本。


消息来源:Reddit r/MachineLearning (2026-09-29)

—— 完 ——

主题标签: #长上下文模型 #注意力机制 #计算效率优化 #CoWA #MALA

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…