BLEU(Bilingual Evaluation Understudy)与 ROUGE(Recall-Oriented Understudy for Gisting Evaluation)是自然语言处理历史上最经典的自动化文本生成评测指标。它们不依赖神经网络模型裁判,而是通过统计候选生成文本与人工参考文本之间的 n-gram 重合程度快速打分,至今仍广泛用于机器翻译回归监控、抽取式/凝练式摘要基线对照以及廉价 CI 回归门禁。
BLEU:以精确率(Precision)为核心
BLEU 由 IBM 团队 Papineni 等人于 2002 年提出,最初专为机器翻译设计:衡量系统译文中的短语片段有多少真正出现在一条或多条人类参考译文中。
- 计算机制:分别统计 1-gram 至 4-gram 的修正精确率(Modified n-gram Precision,对每个参考匹配次数封顶防止「刷词作弊」),取几何平均后再乘以长度惩罚因子(Brevity Penalty, BP),防止模型只输出几个保守高频词骗取高精确率:
BLEU=BP·exp(∑Nn=1wnlogpn)
- 工程使用注意:早期直接对分词后的字符串算 BLEU 常因不同分词规则导致分数不可比;现代工程标准统一采用 SacreBLEU(内置标准化分词与校验哈希)报告结果,并区分单句句级 BLEU 与语料库级 BLEU。
import sacrebleu
bleu = sacrebleu.corpus_bleu(hypotheses, [references])
print(bleu.format())
ROUGE:以召回率(Recall)为核心
ROUGE 由林德元(Chin-Yew Lin)于 2004 年提出,主要面向自动文摘(Summarization):在摘要任务中,系统更关心「参考摘要中的核心要点有没有被漏掉」,因此偏重**召回率(Recall)**与 F1 调和平均。
- ROUGE-N(常见
ROUGE-1、ROUGE-2):参考摘要中的 n-gram 有多大比例被生成摘要覆盖; - ROUGE-L:基于**最长公共子序列(LCS)**计算句级顺序匹配度,允许中间插词但要求语序一致;
- ROUGE-Lsum:针对多句摘要按换行拆句计算联合 LCS,通常作为摘要论文默认指标;
- ROUGE-W / ROUGE-S:分别引入连续匹配加权与带间隔的双词组(Skip-Bigram)扩展。
from rouge_score import rouge_scorer
scorer = rouge_scorer.RougeScorer(["rouge1", "rouge2", "rougeL"], use_stemmer=True)
scores = scorer.score(reference_text, candidate_text)
在大语言模型时代的局限性
随着开放式生成和推理成为主流,单纯依赖 BLEU/ROUGE 暴露出明显短板:
- 同义改写惩罚:模型输出「新能源汽车」而参考答案写「电动车」,语义完全等价但字面 n-gram 重合接近零;
- 对事实性幻觉盲区大:仅改掉一个关键否定词或数字,ROUGE-L 仍可能高达 0.9 以上,却导致严重事实错误;
- 开放创意与指令跟随失效:同一提示词存在无数合理写法时,「与少数参考答案逐词对齐」反而惩罚了更有条理或更详尽的回答。
与现代评测体系的分工
| 任务类型 | 推荐主指标 | BLEU / ROUGE 定位 |
|---|---|---|
| 翻译与严格改写 | COMET / 语义相似度 + 人工抽查 | SacreBLEU 仍作快速回归监控 |
| 代码、数学、结构化抽取 | 单元测试 Pass@k、精确匹配(EM)、JSON Schema 校验 | 辅助观察局部输出格式漂移 |
| 开放问答、摘要质量与对话 | LLM-as-a-Judge + 人工盲测对比 | 低成本冒烟测试,防范输出截断或乱码回归 |
进一步阅读
- Papineni et al. (2002), Bleu: a Method for Automatic Evaluation of Machine Translation:https://aclanthology.org/P02-1040/
- Lin (2004), ROUGE: A Package for Automatic Evaluation of Summaries:https://aclanthology.org/W04-1013/