重排 (Rerank)
重排(Rerank / Reranking)是在检索系统的第一阶段(粗筛召回)产出初步候选列表后,使用具备更强语义交互能力的模型对候选文档进行细粒度相关性重新评估并调整顺序的核心技术。它通常作为现代搜索引擎与检索增强生成 (RAG) 流水线中的关键第二阶段,在计算成本与检索精度之间构筑帕累托最优边界。
召回的信息瓶颈与重排的必要性
在传统的向量检索或关键词检索中,第一阶段(First-Stage Retrieval)必须在数百万至数十亿条文档中高速完成筛选,因而普遍采用**双塔模型(Bi-Encoder)**或词法倒排索引(BM25):
- 双塔的表征瓶颈:双塔模型要求每个文档在离线时被独立压缩为一个固定维度的单一稠密向量 $\mathbf{v} \in \mathbb{R}^d$。在查询阶段,查询向量与文档向量仅通过简单的点积或余弦相似度进行全局比较。由于两塔在最终内积之前完全隔离,缺乏 Token 级别的跨注意力(Cross-Attention)交互,无法感知词法细微差异。
- 典型失效场景:双塔极易在以下场景出现语义漂移:
- 否定词与逻辑限定(如区分“如何配置免密登录”与“如何禁用免密登录”);
- 精确版本号与参数名(如区分
v1.2与v2.1); - 长尾生僻词与实体关系的强依赖匹配。
重排阶段的目标并非扩大候选范围,而是从粗筛出的数十个候选片段中,通过深度交互模型识别出最能回答问题的真实证据,过滤掉高语义重合度但事实无关的“假阳性”干扰项。
架构本质剖析:Bi-Encoder vs. Cross-Encoder
[Bi-Encoder 架构]
Query ──► [Transformer Encoder Q] ──► 向量 u ─┐
├─► 点积 / Cosine (轻量, O(d))
Doc ──► [Transformer Encoder D] ──► 向量 v ─┘
(文档独立离线编码,无 Token 级交叉注意力)
[Cross-Encoder 架构]
[CLS] + Query + [SEP] + Document + [SEP]
│
▼
┌───────────────────────────┐
│ Full Transformer Encoder │ ◄── 每个 Query Token 与每个 Doc Token
│ (全层密集 Cross-Attention)│ 在所有层进行全连接注意力交互
└───────────────────────────┘
│
▼
[CLS] 向量分类头 ──► 标量相关性分数 (计算复杂度 O((Lq + Ld)^2))
1. 计算复杂度与交互深度
- Bi-Encoder:输入独立,文档向量可离线预先建库。查询复杂度为 $O(N \cdot d)$,配合 ANN 可降至对数级 $O(\log N)$,但语义表达受限于压缩瓶颈。
- Cross-Encoder:将查询与文档拼接为单个输入序列 $[CLS] \circ q \circ [SEP] \circ d \circ [SEP]$ 输入 Transformer 编码器。模型利用全自注意力机制(Self-Attention)计算全连接交互矩阵:
$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$
查询中的每一个词与文档中的每一个词都会在每一层网络中直接计算注意力权重。这种端到端的深度交互赋予了 Cross-Encoder 极强的细粒度语义理解能力,但其计算复杂度随序列长度呈平方级激增 $O((|q| + |d|)^2)$,且文档无法离线预存分数,必须在线逐对前向传播。
2. 特征捕获能力对比
| 评估维度 | 双塔编码器 (Bi-Encoder) | 交叉编码器 (Cross-Encoder / Reranker) |
|---|---|---|
| 打分机制 | 独立向量内积 $\langle E(q), E(d) \rangle$ | 拼接序列联合编码与分类头打分 |
| Token 级交互 | 无(仅在向量级别池化后交互) | 全层密集跨词注意力交互 |
| 检索范围 | 全库数百万/数亿文档 | 首阶段粗筛出的 Top-K 候选 ($50 \sim 200$) |
| 计算耗时 | 亚毫秒至数毫秒 | 每对数毫秒至数十毫秒(需 GPU 加速) |
| 排序指标 (nDCG@10) | 基准水平 | 显著提升 $10% \sim 35%$ |
两阶段级联流水线工程实现
在工业级 RAG 架构中,两阶段检索流水线是平衡 P99 尾延迟与最高召回精度的标准范式:
用户查询 Query
│
▼
[Stage 1: 召回 / 粗筛] ──► 混合检索 (BM25 + 向量检索)
│ 从 1,000,000+ 文档中亚 20ms 召回 K1 = 50~100 个候选
▼
[去重与合并] ──► RRF (倒排互惠排名融合) 合并候选集
│
▼
[Stage 2: 重排 / 精排] ──► Cross-Encoder (如 BGE-Reranker, Cohere Rerank)
│ 批量并行推理打分,重新排列
▼
[Top-K 截断与证据组织] ──► 挑选 Top K2 = 3~5 个最高分片段
│
▼
[生成模型 LLM] ──► 输入上下文生成最终回答
- 参数选择原则:
- 粗筛候选量 $K_1$:通常设定为 $50 \sim 100$。若 $K_1$ 过小,真实答案未被粗筛召回,后置重排无能为力(Recall 瓶颈);若 $K_1 > 200$,Cross-Encoder 批处理推理延迟会显著突破生产 SLO 上限。
- 精排保留量 $K_2$:通常设定为 $3 \sim 8$。取决于后续生成模型的上下文窗口预算与注意力衰减(Lost-in-the-middle)容忍度。
打分机制与置信度校准陷阱
Cross-Encoder 分类头通常输出一个未归一化的原始 Logit 分数,可通过 Sigmoid 函数映射到 $(0, 1)$ 区间:
$$P(\text{Relevant} \mid q, d) = \sigma(\text{logit}) = \frac{1}{1 + e^{-\text{logit}}}$$
生产中的绝对阈值截断陷阱 (Hard Cutoff Trap)
在工程落地中,严禁将绝对分数(如固定判定 $> 0.7$ 为相关)作为通用过滤条件,原因如下:
- 领域与分布漂移 (Domain Shift):预训练重排模型在日常百科语料上的相关性得分较高,但在专业技术文档或生僻领域中,即使是完美命中的证据段落,其绝对得分也可能仅有 $0.3 \sim 0.4$。
- 长度偏置与语义密度差异:极短文档与长文档在注意力池化时的 Logit 尺度存在天然偏差,不同查询之间的分数绝对值不可直接横向比较。
科学的后处理截断策略
- 相对最大值衰减 (Relative Dropoff): $$\text{Filter condition: } \text{Score}(d_i) \ge \alpha \cdot \text{Score}(d_1) \quad (\alpha \in [0.6, 0.8])$$ 若候选片段得分与最高分相比跌幅过大,则表明置信度显著断层,截断后续低分项。
- Top-P 累积分数过滤:对候选项应用 Softmax 归一化为伪概率分布,按降序累加直至达到预设累积覆盖度(如 $P=0.85$)。
前沿演进:晚期交互与 LLM 重排
除了传统的 BERT/RoBERTa 架构 Cross-Encoder,重排领域呈现两条新兴演进分支:
1. 晚期交互 (Late Interaction / ColBERT)
ColBERT 提出了介于双塔与交叉编码器之间的折中架构。它在离线阶段保留文档的全部 Token 嵌入(而非池化为单个向量)。在线查询时,利用轻量级的最大相似度算子(MaxSim)对查询与文档的所有 Token 计算内积最大值之和:
$$\text{Score}{\text{MaxSim}}(q, d) = \sum{i=1}^{|q|} \max_{j=1}^{|d|} \left( \mathbf{q}_i \cdot \mathbf{d}_j \right)$$
通过向量量化(ColBERTv2),它既保留了 Token 级的细粒度交互精度,又允许在几毫秒内对数千个候选执行向量化矩阵点积检索。
2. LLM-as-a-Reranker (基于大模型的列表重排)
随着长上下文大模型推理能力提升,Listwise 排序(如 RankGPT)逐渐进入实用阶段。与 Cross-Encoder 逐对(Pointwise)打分不同,Listwise 提示词将所有候选片段一次性送入大模型,要求其直接输出基于多源论据对比的综合排名序列。大模型能直接识别不同候选之间的信息互补、逻辑矛盾与重复废话,但其推理延迟与 Token 成本远高于专用轻量级 Cross-Encoder。
生产部署与评估指标
- 评估指标选择:
- MRR@10 (Mean Reciprocal Rank):首个正确答案所在位置的倒数平均值,衡量系统将关键答案排在第一位的效率;
- nDCG@10 (Normalized Discounted Cumulative Gain):考虑多个相关文档在排序列表中的位置增益衰减;
- HitRate@K:前 K 个结果中命中至少一个正确答案的查询占比。
- 推理加速工程实践:
- 动态批处理 (Dynamic Batching) 与相同长度样本归类(Smart Batching),消除显存无谓的 Padding 填充;
- 采用 FP16 / BF16 或 ONNX Runtime / TensorRT 导出推理图,使 Cross-Encoder 评估 50 个候选的端到端延迟控制在 $15 \sim 30\text{ ms}$ 以内。
参考资料与权威文献
- Sentence Transformers: Retrieve & Re-Rank — 两阶段检索与 Cross-Encoder 官方实战指南。
- ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction (Khattab & Zaharia, SIGIR 2020) — 晚期交互与 MaxSim 算子原始论文。
- Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents (RankGPT, Sun et al., 2023) — LLM Listwise 排序机制研究。
- BGE Reranker: Open Source State-of-the-art Reranker Models — 北京智源开源 Cross-Encoder 架构与微调方案。