BM25
BM25(Best Matching 25,亦称 Okapi BM25)是信息检索领域基于概率相关性框架(Probabilistic Relevance Framework)的经典排序算法。该算法由 Stephen Robertson 与 Karen Spärck Jones 等人于 1994 年在 TREC-3 评测中提出。
在大模型与向量嵌入大行其道的时代,BM25 依然是企业级搜索引擎与现代检索增强生成 (RAG)系统中的绝对基石,作为词法检索通道与稠密向量检索通道共同构成混合检索(Hybrid Search)的双壁。
完整数学理论公式与参数解析
给定查询 Q={q1,q2,…,qn} 与候选文档 D,BM25 计算相关性得分的标准公式为:
ScoreBM25(D,Q)=∑ni=1IDF(qi)·f(qi,D)·(k1+1)f(qi,D)+k1·(1−b+b·|D|avgdl)
其中:
- f(qi,D) 为查询词 qi 在文档 D 中的原始出现频次(Term Frequency);
- |D| 为文档 D 的词元长度,avgdl(Average Document Length)为语料库中所有文档的平均长度。
BM25 评分公式核心组件分解
│
┌───────────────────────────┴───────────────────────────┐
▼ ▼
[Robertson-Spärck Jones IDF] [非线性词频饱和与长度归一化]
量化词元的信息量权重 抑制关键词作弊,平滑惩罚冗长文档
稀有专有名词分值极高,停用词近乎为 0 当词频趋于无穷大时,得分逼近上限 (k1 + 1)
1. Robertson-Spärck Jones 逆文档频率 (IDF)
IDF(qi)=ln(N−n(qi)+0.5n(qi)+0.5+1)
- N 为语料库中的总文档数;
- n(qi) 为包含查询词 qi 的文档数;
- 常数 0.5 与加 1 操作用于平滑分母并保证 IDF 取值恒为正数。该公式对常见无区分度的词语(如“的”、“是”、“the”)施加极强衰减,对罕见的实体名赋予极高权重。
2. 词频非线性饱和曲线与超参数 k1
传统 TF-IDF 模型中的词频得分呈线性无上限增长,这极易被恶意网页通过反复堆砌关键词(Keyword Stuffing)进行作弊。
BM25 引入了非线性渐近饱和项:
limf(qi,D)→∞f(qi,D)·(k1+1)f(qi,D)+…=k1+1
- 超参数 k1∈[1.2,2.0](工业默认通常取 1.2 或 1.5):控制词频饱和的上升速率;
- 随着某词在文档中出现次数的增加,其边际增益迅速递减。一个关键词出现 10 次的文档,其相关性远不会达到出现 1 次文档的 10 倍,有效遏制了刷分。
3. 文档长度归一化与超参数 b
比值 |D|avgdl 衡量文档相对平均篇幅的偏离程度:
- 超参数 b∈[0,1](工业默认通常取 0.75):控制文档长度惩罚的严厉程度;
- b=1 时:实施全量长度归一化,严厉惩罚较长的文档(假定长文档是因为充斥冗长废话而碰巧命中了关键词);
- b=0 时:完全关闭长度惩罚,所有文档按绝对词频同等对待。
为什么向量检索无法淘汰 BM25?
尽管深度学习稠密向量嵌入在捕获同义词与高级语义概念上表现优异,但在真实工业落地中,向量检索存在显著的物理死角,必须由 BM25 兜底:
| 场景维度 | 稠密向量检索 (Dense Embeddings) | 词法检索 (Okapi BM25) |
|---|---|---|
| 精确专有名词 | 容易泛化至同类实体(搜索 iPhone 15 Pro 误召回 iPhone 14) |
绝对精准匹配字符字面量 |
| 代码符号与错误码 | 向量模型分词器(Tokenizer)将符号切碎,语义坍塌 | 精准命中特定错误栈(如 ERR_CONN_REFUSED) |
| 冷启动与索引开销 | 需重型 GPU 执行前向推理编码,全量建库慢 | 仅依赖轻量 CPU 倒排索引,秒级全量建库 |
| 计算复杂度与成本 | 近似近邻图索引消耗大量显存/内存 | 基于 WAND 动态剪枝算法,CPU 亚毫秒级响应 |
| 可解释性 | 向量内积是一个不可解释的黑盒浮点数 | 完全透明,可清晰展示“命中哪些词及其 IDF 贡献” |
现代 RAG 混合检索架构实践
生产级 RAG 架构普遍采用两路召回协同模式:
用户输入 Query
│
┌──────────────────────┴──────────────────────┐
▼ ▼
[BM25 词法通道] [向量语义通道]
(倒排索引, 专有名词/代码) (稠密向量, 抽象语义泛化)
│ │
Top-50 候选 Top-50 候选
│ │
└──────────────► 倒排互惠排名融合 (RRF) ◄──────┘
│
Top-100 候选去重
│
[Cross-Encoder 重排]
│
Top-5 精选证据给 LLM
通过倒排互惠排名融合(RRF)算法合并两路名次,能够兼备 BM25 的精确字符命中率与向量检索的意图泛化能力。
中文与特定领域工程陷阱
- 中文分词颗粒度陷阱:
英文等拉丁语系天然具备空格分隔,而中文依赖分词器(如 Jieba、IK Analyzer、HanLP)。
- 若分词器采用粗粒度分词(如将“深度强化学习”作为一个整体 Token),当用户搜索“深度学习”时,BM25 倒排索引将完全无法匹配命中;
- 工程解决方案:采用细粒度分词 + 双字 N-Gram 混合索引策略,确保子词倒排链完整覆盖。
- 停用词过滤(Stopwords Removal): 在建立 BM25 索引前,必须严格过滤高频无歧义停用词(如“啊”、“关于”、“因为”),防止倒排链过长引发磁盘 I/O 剧烈膨胀。
参考资料与权威文献
- Okapi at TREC-3 (Robertson et al., 1994) — Okapi BM25 原始评测与推导论文。
- The Probabilistic Relevance Framework: BM25 and Beyond (Robertson & Zaragoza, 2009) — BM25 理论体系与数学全貌综述。
- Elasticsearch Guide: Practical BM25 — 企业级倒排索引引擎的 BM25 实现细节。