模型量化(Quantization)
**模型量化(Quantization)**是现代深度学习中通过降低数值位宽来压缩模型体积并提升推理计算效率的核心工程技术。它将原本以 16 位或 32 位浮点数(FP16/BF16/FP32)表示的连续权重与激活值张量,映射为低比特的定点整数(如 INT8、INT4)或低精度浮点数(如 FP8、FP4),在极微弱的精度损失代价下,显著降低 GPU 显存占用并倍增推理吞吐。
数学原理:均匀仿射量化与反量化
均匀仿射量化通过线性缩放将浮点区间 $[\alpha, \beta]$ 映射到有限位宽的定点离散网格 $[q_{\min}, q_{\max}]$:
1. 量化公式(Quantization)
$$q = \text{clip}\left(\left\lfloor \frac{x}{S} \right\rceil + Z, q_{\min}, q_{\max}\right)$$
其中:
-
$S \in \mathbb{R}^+$:缩放因子(Scale Factor),表示单个离散整数步长对应的物理浮点跨度:
$$S = \frac{\beta - \alpha}{q_{\max} - q_{\min}}$$
-
$Z \in \mathbb{Z}$:零点偏移(Zero-Point),确保真实浮点数中的 $0$ 能被定点数无舍入误差精确表示:
$$Z = \left\lfloor \frac{-\alpha}{S} \right\rceil$$
-
$\lfloor \cdot \rceil$:四舍五入取整算子。
2. 反量化公式(Dequantization)
在矩阵运算时,定点整数被还原为近似的浮点数值:
$$\hat{x} = S \cdot (q - Z)$$
3. 对称量化 vs 非对称量化
- 对称量化(Symmetric Quantization, $Z = 0$):强制将浮点动态范围对称限制在 $[-\max(|\alpha|, |\beta|), \max(|\alpha|, |\beta|)]$。零点严格对齐定点 0,在硬件矩阵乘算子中无需额外的零点交叉偏置补偿,计算吞吐最高,是当前 GPU 推理的主流选择。
- 非对称量化(Asymmetric Quantization, $Z \neq 0$):充分利用整个定点区间的有效范围,适合 ReLU/GeLU 激活值等非负非对称分布,但在底层汇编算子实现中伴随额外的零点开销。
量化粒度(Granularity)
- Per-Tensor(整张量级):整个权重矩阵共用单个 $S$ 和 $Z$。存储最省,但容易被矩阵中极少数异常极大值拉大步长,破坏主体分布精度。
- Per-Channel / Per-Token(通道/Token 级):权重的每个输出通道、激活的每个 Token 向量使用独立的尺度缩放,能较好隔离不同通道间的幅度差异。
- Group-wise / Block-wise(分组量化):将单通道内的权重进一步细切为小块(如连续 64 或 128 个元素共享一个缩放尺度),是目前 INT4(如 AWQ、GPTQ)在控制精度退化上的行业标准配置。
PTQ 与 QAT:量化技术路线对比
- PTQ(Post-Training Quantization,训练后量化):直接对训练好的预训练权重应用离线量化算法。只需准备 128~512 条无标注文本校准集以统计中间激活的数值分布,耗时极短(几分钟至数十分钟),是当前大模型量化的主力方案。
- QAT(Quantization-Aware Training,量化感知训练):在重训练或微调过程中引入伪量化算子(Fake Quantization),通过直通估计器(Straight-Through Estimator, STE)传递梯度,使模型参数主动适应低比特舍入噪声,在 2-bit/3-bit 等极端低精度下表现远优于 PTQ。
大模型核心难题:激活异常值(Activation Outliers)与突破算法
随着 Transformer 模型参数跨越 6.7B 临界点,研究者发现网络深层的前馈与投影层中,极少数特征维度的激活值幅度会突然飙升数十甚至数百倍(Outlier Features)。若直接进行定点量化,整个通道的有效分辨率将被极值彻底稀释。
业界由此诞生了数代前沿突破算法:
1. SmoothQuant(平滑量化)
利用等价缩放恒等式,将激活值中难以量化的尖锐峰值平摊转移至权重矩阵中:
$$Y = (X \cdot \text{diag}(s)^{-1}) \cdot (\text{diag}(s) \cdot W)$$
在保持数学等价性的前提下压缩了激活的动态范围,使得矩阵乘两侧均可平滑量化为 INT8(W8A8),实现纯整数 Tensor Core 的吞吐翻倍。
2. AWQ(Activation-aware Weight Quantization,激活感知权重量化)
AWQ 发现模型中仅有约 1% 的显著权重对模型输出困惑度起决定性作用,而这些权重正是与大激活特征通道直接相乘的部分。AWQ 通过观察校准集的激活强度保护这 1% 的显著权重通道,其余权重安全压制为 INT4,大幅改善小尺寸模型在 4-bit 下的崩坏问题。
3. GPTQ(基于逆海森矩阵的高效量化)
基于二阶泰勒展开和最优脑手术算法(Optimal Brain Surgeon),在量化某列权重的瞬间,利用逆海森矩阵(Inverse Hessian)的信息精确补偿调整该行后续未量化权重,实现极高保真度的整网 INT4 压缩。
工业主流格式与选型矩阵
| 量化方案 | 权重位宽 | 激活位宽 | 主要运行环境 | 适用场景与工程权衡 |
|---|---|---|---|---|
| FP8 (E4M3/E5M2) | 8-bit Float | 8-bit Float | NVIDIA Hopper/Blackwell, Ada Lovelace | 云端高并发首选,精度几乎 0 损失,硬件原生支持 |
| AWQ | 4-bit Int | 16-bit Float (W4A16) | NVIDIA RTX 30/40/50 系,数据中心 GPU | 现代开源 LLM 生产推理首选,吞吐高且兼顾精度 |
| GPTQ | 4-bit Int | 16-bit Float (W4A16) | 传统 GPU / vLLM / TGI | 成熟的离线 4-bit 权重压缩格式 |
| GGUF (K-Quants) | 2~8-bit 混合 | 16-bit Float | Apple Silicon, CPU, 纯端侧设备 | llama.cpp 生态基石,支持多层混合精度与 CPU/GPU 内存异构卸载 |
进一步阅读
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale — Dettmers et al. (激活异常值发现)
- SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models — Xiao et al.
- AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration — Lin et al.
- GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers — Frantar et al.