困惑度(Perplexity)
**困惑度(Perplexity, PPL)**是评估语言模型最基础的指标。它衡量模型对一段文本 的"惊讶程度"——困惑度越低,模型越"懂"这段文本。
数学定义
PPL(X) = exp(-1/N · Σ log p(x_i | x_<i))
- N 是 token 数
- p(x_i | x_<i) 是模型在看到前文后预测下一个 token 的概率
- 取指数把 log-likelihood 转成"等价分支数"
直观理解:PPL = 10 表示模型平均每次预测像在 10 个等概率选项里二选一;PPL = 1 表示完美预测。
经典基线
- GPT-2:PPL ~29(WikiText-103)
- GPT-3:PPL ~20
- Llama 3 8B:PPL ~6(同任务)
- GPT-5 / Claude 4:PPL < 5
PPL 每降 5 个点通常意味着模型有显著的质量提升。
适用场景
- 预训练阶段:监控模型是否在学习(每 1000 step 跑一次 dev set PPL)。
- 消融实验:比较不同架构 / 训练数据 / 超参的 PPL 差异。
- 跨数据集比较:在固定数据集上 PPL 是公平指标。
- 领域适应:评估模型在垂直领域(医疗 / 法律)的 PPL 是否合理。
不适用的场景
- 跨模型:PPL 受 tokenizer 影响,token 数不同的模型直接比 PPL 不公平。
- 跨数据集:PPL 在不同数据集上不可比。
- 下游任务:PPL 低不代表任务表现好(chatbot、QA、代码生成需要专门指标)。
- 人类对齐:PPL 无法反映 helpful / harmless。
实战经验
- 训练时盯 PPL 曲线:稳步下降 + 偶尔 spike 是正常的;持续不降就是欠拟合, 突然飙升是训炸了。
- 同一 tokenizer 比 PPL:否则用 bits-per-character (BPC) 之类归一化的指标。
- 小样本 PPL 不稳:单条文本 PPL 波动大,要用大测试集(至少几千 token)算平均。
- Surprisal 调试:单 token 的 -log p(x) 可以用来 debug 模型"在哪里困惑"。
替代 / 补充指标
- Bits Per Byte (BPB):跨 tokenizer 可比。
- Cross-entropy Loss:和 PPL 一对一换算,只是少了 exp。
- 下游 benchmark(MMLU、HumanEval 等):任务导向,更接近真实价值。