投机解码 (Speculative Decoding)
投机解码(Speculative Decoding,亦称投机采样 Speculative Sampling)是现代大语言模型推理加速的核心技术。它通过打破标准自回归解码中“逐个词元串行生成”的计算范式,在**严格保证输出概率分布与原始大模型 100% 数学一致(无损加速)**的前提下,将大模型端到端推理延迟降低 $2\times \sim 3.5\times$。
硬件瓶颈根因:显存带宽墙 (Memory-Bound)
在标准的自回归生成(Autoregressive Decoding)阶段,模型每生成一个 Token 都必须执行一次完整的前向传播:
- 算力开销:批大小(Batch Size)为 1 时,生成单个 Token 仅涉及向量-矩阵乘法(GEMV),算力需求极小;
- 访存瓶颈:为了计算这一个 Token,系统必须将整个大模型的全部权重参数(例如 70B 模型在 FP16 下约为 140GB)从高带宽显存(HBM)完整读取到 GPU 计算核心(SRAM)一次。
此时硬件的运算强度(Arithmetic Intensity = FLOPs / Byte)极低,GPU 算力利用率通常不足 5%,推理速度完全受限于显存带宽(Memory Bandwidth Bound)。
投机解码的核心工程逻辑是:既然大模型单次读取权重的开销如此昂贵,不如让大模型在一次前向传播中同时验证多个词元,将原本低效的向量-矩阵乘法(GEMV)转换为高度饱和的矩阵-矩阵乘法(GEMM),彻底打破显存带宽墙。
[传统自回归解码]
Step 1: 读取 140GB 权重 ──► 输出 1 个 Token (受制于显存带宽)
Step 2: 读取 140GB 权重 ──► 输出 1 个 Token
Step 3: 读取 140GB 权重 ──► 输出 1 个 Token
[投机解码机制]
1. Draft 模型 (极小极快): 连续草拟 γ 个候选 Tokens [t1, t2, t3, t4]
2. Target 模型 (大模型): 单次读取 140GB 权重,并发验证全部 4 个 Tokens
3. 验证通过: 一次前向传播同时输出 3~4 个 Tokens! (计算强度激增,延迟大幅降低)
投机采样算法与无损分布证明
投机解码之所以能保证输出质量毫无损失,关键在于其精妙的**拒绝采样(Rejection Sampling)**数学设计。
设大模型(Target Model)的条件概率分布为 $p(x)$,草稿小模型(Draft Model)的条件概率分布为 $q(x)$:
1. 算法工作流程
- 草稿生成阶段:轻量级 Draft 模型以极高速度自回归生成 $\gamma$ 个候选 Tokens: $$(x_1, x_2, \dots, x_\gamma)$$
- 大模型并行验证阶段:将这 $\gamma$ 个候选词元与当前上下文拼接,一次性送入 Target 模型进行单个 Forward Pass,并行计算所有位置的真实条件概率: $$p(x_1 \mid x_{<1}),\ p(x_2 \mid x_{<2}),\ \dots,\ p(x_\gamma \mid x_{<\gamma}),\ p(x_{\gamma+1} \mid x_{\le\gamma})$$
- 接受-拒绝采样判定:对于第 $i \in {1, \dots, \gamma}$ 个候选词元 $x_i$,生成均匀分布随机数 $r \sim U(0, 1)$,判定接受概率:
$$\alpha_i = \min\left(1, \frac{p(x_i \mid x_{<i})}{q(x_i \mid x_{<i})}\right)$$
- 若 $r \le \alpha_i$:接受 $x_i$,继续检验下一个词元 $x_{i+1}$;
- 若 $r > \alpha_i$:拒绝 $x_i$,并在此处终止草稿序列。此时从修正后的**残差分布(Residual Distribution)**中重新采样真实词元 $x_i'$:
$$P(x_i' = x) = \frac{\max\left(0, p(x) - q(x)\right)}{\sum_{y} \max\left(0, p(y) - q(y)\right)}$$
- 额外奖励词元:若 $\gamma$ 个候选词元被全量接受,大模型会直接免费附赠基于完整草稿上下文采样的第 $\gamma+1$ 个词元。
2. 数学保真性证明
最终接受词元的边际概率分布严格等于大模型的原生概率分布:
$$P_{\text{final}}(x) = q(x) \cdot \min\left(1, \frac{p(x)}{q(x)}\right) + \left(1 - \sum_y q(y)\min\left(1, \frac{p(y)}{q(y)}\right)\right) \cdot \frac{\max(0, p(x) - q(x))}{\sum_y \max(0, p(y) - q(y))} \equiv p(x)$$
这一恒等式证明了:无论 Draft 模型的预测质量如何,投机采样的最终输出分布与大模型原生解码的数学期望完全一致,彻底打消了模型输出降级的顾虑。
加速比理论极限与成本核算
设单个词元的平均接受率为 $\alpha \in [0, 1]$,单次迭代中预期被接受的词元数期望值为:
$$\mathbb{E}[\text{Accepted Tokens}] = \sum_{i=1}^\gamma \alpha^i = \frac{\alpha(1 - \alpha^\gamma)}{1 - \alpha}$$
单次迭代产生的总有效词元数为 $\mathbb{E}[\text{Tokens}] = \mathbb{E}[\text{Accepted}] + 1$。设 Draft 模型生成单步耗时为 $c_{\text{draft}}$,Target 模型单次前向验证耗时为 $c_{\text{target}}$,则端到端理论加速比为:
$$\text{Speedup} = \frac{(\mathbb{E}[\text{Accepted}] + 1) \cdot c_{\text{target}}}{\gamma \cdot c_{\text{draft}} + c_{\text{target}}}$$
接受率 (α) 与理论加速比关系示意 (假设 c_draft = 0.05 * c_target, γ = 5):
α = 0.9 ──► 平均接受 ~4.1 个 Token ──► 加速比 ≈ 3.2x (极限加速)
α = 0.7 ──► 平均接受 ~2.3 个 Token ──► 加速比 ≈ 2.1x (常规工程收益)
α = 0.4 ──► 平均接受 ~0.9 个 Token ──► 加速比 ≈ 1.3x (收益微弱)
α < 0.2 ──► 频繁拒绝重算 ──────────► 加速比 < 1.0x (负优化,触发降级)
主流架构与演变形态
针对独立小模型带来的额外显存占用与分布不对齐问题,业界衍生出多样化的投机加速架构:
| 变体方案 | 核心实现机制 | 显存与架构开销 | 典型平均接受率 |
|---|---|---|---|
| 独立双模型 (Independent Drafter) | 使用同系列的轻量小模型(如 Llama-3-8B 作为 70B 的 Drafter) | 需同时在显存载入小模型参数 | $60% \sim 75%$ |
| 树状投机 (Tree Attention / SpecInfer) | Draft 模型构建多分支猜测树,利用定制的 Tree Attention Mask 在一次大模型前向中验证多条路径 | 极小,仅需额外计算拓扑掩码 | $75% \sim 85%$ |
| 多头推测 (Medusa / Lookahead) | 冻结 Target 模型主干,在顶部附加若干轻量级 MLP 解码头,单步直接并行预测未来 $k$ 个词元 | 极低(仅增添几个输出头权重) | $60% \sim 70%$ |
| 特征级草拟 (EAGLE / EAGLE-2) | 在 Target 模型的顶层隐状态(Hidden States)上训练单层自回归 Transformer Drafter | 极小,Drafter 仅数百兆参数 | $80% \sim 90%$ |
| 词元检索 (Prompt Lookup Decoding, PLD) | 无需任何神经网络,纯基于 n-gram 字符串算法在 Prompt 和已生成文本中匹配重复子串 | 零额外显存占用 | 代码续写与文档编辑场景表现极佳 |
生产工程落地的关键挑战
- KV 缓存回滚机制 (KV Cache Rollback):当候选序列在第 $i$ 个词元被拒绝时,大模型在验证阶段为后续被拒词元($i+1 \sim \gamma$)所写入的 KV 缓存是无效的,显存管理器必须高效执行指针修剪与回滚,防止缓存污染。
- Batch 动态调度失衡:在并发批处理(Continuous Batching)中,不同请求的接受率 $\alpha$ 动态多变。部分请求猜中 5 个词,部分只猜中 1 个,导致不同序列的长度增长速率不一致,需要动态调度器支持变长张量并行与细粒度内存管理。
- 温度(Temperature)的影响:当采样温度较高($T \ge 1.0$)时,生成随机性大增,接受率 $\alpha$ 显著下滑;而在确定性贪心解码($T = 0$)或代码生成任务中,接受率最高,加速收益最显著。
参考资料与权威文献
- Fast Inference from Transformers via Speculative Decoding (Leviathan et al., ICML 2023) — Google 团队奠基论文与数学无损证明。
- Accelerating Large Language Model Decoding with Speculative Sampling (Chen et al., 2023) — DeepMind 投机采样算法理论。
- EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty (Li et al., ICML 2024) — 基于顶层特征隐状态的现代高性能 Drafter 架构。
- Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads — 无需独立模型的轻量多头并行推测方案。