FlashAttention
FlashAttention 是一种针对 GPU 硬件存储层次结构(Memory Hierarchy)深度优化的高效、精确注意力(Attention)算法。它在**严格保证数学数值完全一致(无损)**的前提下,通过平铺分块(Tiling)、在线 Softmax(Online Softmax)与反向传播重计算(Recomputation),彻底消除了标准注意力计算中对 O(N2) 中间矩阵的显存读写瓶颈,使长文本大模型(LLM)的训练与推理吞吐提升 2×∼5×,显存占用降低至线性的 O(N)。
该算法由 Tri Dao 等人于 2022 年提出,已成为现代 Transformer 架构的行业事实标准底座。
硬件根因:GPU 显存层次结构与访存墙
在现代 GPU 架构(如 NVIDIA A100 / H100)中,存储体系呈现出极端的带宽与容量不对称性:
┌────────────────────────────────────────────────────────┐
│ GPU 片上 SRAM (Shared Memory / L1 Cache) │
│ 容量极小 (~228 KB / SM), 带宽极高 (~19 TB/s) │
└───────────────────────────▲────────────────────────────┘
│ 频繁数据搬运导致访存墙 (Memory Bound)
┌───────────────────────────▼────────────────────────────┐
│ GPU 高带宽显存 HBM (High Bandwidth Memory / DRAM) │
│ 容量极大 (80 GB ~ 140 GB), 带宽相对受限 (~3.35 TB/s) │
└────────────────────────────────────────────────────────┘
标准 Attention 的 O(N2) 访存灾难
在标准 PyTorch 实现中,注意力计算分为三步分离的矩阵乘法内核(Kernels):
- 当序列长度 N=8,192 甚至 64,000 时,N×N 的中间注意力矩阵 P 显存占用随序列长度呈平方级爆炸(单头 64K 浮点矩阵需占用多达 8GB 显存);
- 计算核心(Tensor Cores)大部分时间处于饥饿状态,性能严重受制于 HBM 读写带宽(Memory-Bound)。
FlashAttention 三大底层核心算法创新
FlashAttention 从数学和硬件底层彻底重构了执行路径:
FlashAttention 计算机制: 全程在片上 SRAM 闭环
┌─────────────────────────────────────────────────────────────────────────┐
│ 从 HBM 加载小分块 Q_i, K_j, V_j 到片上 SRAM (大小适配 100~200 KB) │
│ │
│ [SRAM 内部流水线] │
│ 1. 计算局部矩阵乘法 S_ij = Q_i * (K_j)^T │
│ 2. 在线 Softmax 动态更新: m_new = max(m_old, m_ij), 更新归一化因子 l │
│ 3. 缩放并累加至局部输出 O_i: O_i = diag(e^(m_old - m_new)) * O_i + ... │
│ │
│ 遍历结束后: 仅将最终输出 O_i (大小 N x d) 写回 HBM │
└─────────────────────────────────────────────────────────────────────────┘
(全程在 SRAM 完成,HBM 读写量从 O(N^2) 骤降至 O(N),无需存储 N x N 中间矩阵)
1. 平铺分块计算 (Tiling)
将长输入序列矩阵 Q,K,V 划分为适应片上高速 SRAM 容量的小块(Blocks)。 外层与内层循环按块遍历加载,所有的矩阵乘法与归一化直接在片上 SRAM 完成,仅在全部累加完成后才将最终形状为 N×d 的输出写回 HBM,彻底消除了将 N×N 中间矩阵落地到显存的物理需求。
2. 在线 Softmax 归一化 (Online Softmax Trick)
标准 Softmax 必须先遍历整行找出全局最大值 m=max(x)(防止指数上溢),再求和计算分母 ℓ=∑exi−m,这意味着分块流式计算似乎必须存储全部行元素。
FlashAttention 引入了精妙的在线增量 Softmax 递推公式:
设上一块的最大值为 m(1),分母累加和为 ℓ(1),当前未除分母的局部累加结果为 O(1); 当前新读入块的局部最大值为 m(2),累加和为 ℓ(2)。则合并后的全局参数递推更新为:
全局分母累加和通过动态缩放因子平滑更新:
输出向量通过重新加权无缝累加:
遍历完全部分块后,只需单次执行 Ofinal=diag(1ℓfinal)Onew,即可在单次流式遍历中得出与标准 Softmax 100% 精确一致的数学结果,无需暂存中间矩阵。
3. 反向传播重计算 (Recomputation)
在标准反向传播中,优化器必须从前向传播中保留 N×N 的注意力矩阵 P 用于计算关于 Q,K,V 的梯度。 FlashAttention 前向传播时仅在显存中存储行统计量向量(每行的最大值 m 与归一化因子 ℓ,仅占 O(N) 空间)。在反向传播时,利用 SRAM 高速缓存实时重新计算 S 和 P 的小切片。“用极其廉价的片上计算换取极其高昂的 HBM 显存带宽与显存容量”。
算法版本演进对比:v1 到 v3
| 演进代际 | 核心突破 | 硬件架构对齐 | 算力利用率 (A100/H100) |
|---|---|---|---|
| FlashAttention-1 (2022) | 确立 Tiling + 在线 Softmax + 重计算范式 | NVIDIA Ampere (A100) | ∼30%−45% 理论 FLOPs |
| FlashAttention-2 (2023) | 外层改遍历 Q 块、内层遍历 K,V 块;消除非必要的原子同步,优化 Warp 级任务切分 | Ampere / Ada Lovelace | ∼50%−73% 理论 FLOPs |
| FlashAttention-3 (2024) | 专为 Hopper 架构优化:异步 TMA 硬件拷贝、FP8 低精度张量计算、Warp-Group 专用指令交错流水线 | NVIDIA Hopper (H100/H800) | ∼75%−85% (突破 1.2 PFLOPs/s) |
FlashAttention-3 深度榨干了 H100 架构的物理特性:利用张量内存加速器(TMA)实现全局显存到共享内存的零开销异步拷贝,并使 Tensor Core 乘法与 Softmax 指令在不同的 Warp Group 间实现时钟周期的无缝重叠(Overlapping GEMM and Softmax)。
生产部署与框架支持
现代主流框架已实现全原生内置:
- PyTorch 2.x 原生调用:内置
torch.nn.functional.scaled_dot_product_attention(SDPA),底层在 CUDA 条件满足时自动启用 FlashAttention 内核; - Hugging Face Transformers:加载模型时只需指定参数:
model = AutoModelForCausalLM.from_pretrained( "meta-llama/Llama-3-70B", torch_dtype=torch.bfloat16, attn_implementation="flash_attention_2" ) - 推理引擎全标配:vLLM、TensorRT-LLM、SGLang 默认将其作为 Prefill 阶段注意力算子。
硬件兼容性注意
- FlashAttention 要求 GPU 算力架构 Compute Capability ≥8.0(NVIDIA A100、RTX 3090/4090、H100 等);
- 在老旧 GPU(如 V100,算力 7.0)上需回退至 Memory-Efficient Attention(xFormers 切片机制)。
参考资料与权威文献
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., NeurIPS 2022) — FlashAttention 原始奠基论文。
- FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning (Dao, ICLR 2024) — 循环优化与并行度极致调优。
- FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-Precision (Shah et al., 2024) — 适配 Hopper H100 与 FP8 TMA 架构深度剖析。
- Tri Dao's FlashAttention GitHub Repository — 官方开源 CUDA 内核库。