自注意力机制
**自注意力(Self-Attention)**是 Transformer 架构的核心计算单元。 它让序列中的每个位置都能"看到"序列中所有其他位置,并根据相关性分配不同的 权重。
工作原理
给定输入序列的三个矩阵:
- Query(查询)
- Key(键)
- Value(值)
自注意力的计算公式为:
Attention(Q, K, V) = softmax(QK^T / √d_k) V
直观理解:每个位置用 Q 去"问"所有位置的 K,算出相关性分数(除以 √d_k 是 为了防止分数过大导致 softmax 饱和),再用这些分数对 V 加权求和。
复杂度问题
自注意力的时间和空间复杂度都是 O(n²),其中 n 是序列长度。这意味着:
- 长文档/长上下文会快速吃掉显存。
- 这是当前大模型"长上下文"研究的痛点 —— 见 Mamba 等次二次方 架构的兴起。
多头注意力
实际模型不会只做一次注意力,而是把 Q/K/V 拆成多组("头"),每组独立算 注意力,最后拼接。这样可以让模型同时关注不同子空间的关系。