跳到主内容
智客 ZICQ

智客百科 技术术语

困惑度(Perplexity)

技术术语
别名: PPL perplexity 困惑度 ·2026-09-14

困惑度(Perplexity)

**困惑度(Perplexity, PPL)**是评估语言模型最基础的指标。它衡量模型对一段文本 的"惊讶程度"——困惑度越低,模型越"懂"这段文本。

数学定义

PPL(X) = exp(-1/N · Σ log p(x_i | x_<i))
  • N 是 token 数
  • p(x_i | x_<i) 是模型在看到前文后预测下一个 token 的概率
  • 取指数把 log-likelihood 转成"等价分支数"

直观理解:PPL = 10 表示模型平均每次预测像在 10 个等概率选项里二选一;PPL = 1 表示完美预测。

经典基线

  • GPT-2:PPL ~29(WikiText-103)
  • GPT-3:PPL ~20
  • Llama 3 8B:PPL ~6(同任务)
  • GPT-5 / Claude 4:PPL < 5

PPL 每降 5 个点通常意味着模型有显著的质量提升。

适用场景

  • 预训练阶段:监控模型是否在学习(每 1000 step 跑一次 dev set PPL)。
  • 消融实验:比较不同架构 / 训练数据 / 超参的 PPL 差异。
  • 跨数据集比较:在固定数据集上 PPL 是公平指标。
  • 领域适应:评估模型在垂直领域(医疗 / 法律)的 PPL 是否合理。

不适用的场景

  • 跨模型:PPL 受 tokenizer 影响,token 数不同的模型直接比 PPL 不公平。
  • 跨数据集:PPL 在不同数据集上不可比。
  • 下游任务:PPL 低不代表任务表现好(chatbot、QA、代码生成需要专门指标)。
  • 人类对齐:PPL 无法反映 helpful / harmless。

实战经验

  • 训练时盯 PPL 曲线:稳步下降 + 偶尔 spike 是正常的;持续不降就是欠拟合, 突然飙升是训炸了。
  • 同一 tokenizer 比 PPL:否则用 bits-per-character (BPC) 之类归一化的指标。
  • 小样本 PPL 不稳:单条文本 PPL 波动大,要用大测试集(至少几千 token)算平均。
  • Surprisal 调试:单 token 的 -log p(x) 可以用来 debug 模型"在哪里困惑"。

替代 / 补充指标

  • Bits Per Byte (BPB):跨 tokenizer 可比。
  • Cross-entropy Loss:和 PPL 一对一换算,只是少了 exp。
  • 下游 benchmark(MMLU、HumanEval 等):任务导向,更接近真实价值。