arXiv发布EBG框架：革新长文本问答中的证据生成与评估机制

摘要：Deboban Banerjee团队在arXiv发布了一种名为证据生成（EBG）的新方法，旨在解决现有检索增强生成（RAG）模型在长文本问答中的局限性。EBG要求模型返回带有行级引用的答案，并引入Ans+Evid联合指标，同时评估答案的正确性和证据的充分性。研究团队构建了MultiHop-RAG和QASPER-MP两个基准数据集，并设计了包含合成两跳问题和扩展NoLiMa数据集的测试环境。实验结果表明，EBG能够有效暴露RAG模型在多跳推理和跨文档引用处理中的不足，并揭示了仅依赖答案评估无法发现的证据不足问题。

---

背景与动机

检索增强生成（RAG）模型是目前将大语言模型与外部语料库结合的主流方法，但其基于相似度的检索机制和分块处理流程存在结构性盲点：无法预测问题所需的段落，并丢弃了解决跨段落引用所需的文档级上下文。

EBG方法概述

为了解决上述问题，研究团队提出了证据生成（EBG）方法，其核心创新点包括：

1. 行级引用：EBG要求模型返回带有行级引用的答案，确保答案的可追溯性和可信度。
2. Ans+Evid联合指标：引入Ans+Evid指标，同时评估答案的正确性和证据的充分性，避免仅依赖答案评估带来的偏差。

数据集与实验设计

研究团队构建了两个新的基准数据集：

• MultiHop-RAG：一个多跳推理的RAG基准数据集，包含复杂的多文档问答任务。
• QASPER-MP：基于QASPER的多文档版本，模拟真实学术论文中的短文提示。

此外，还设计了包含合成两跳问题和扩展NoLiMa数据集的测试环境，以全面评估EBG的性能。

主要发现

1. RAG的局限性：EBG揭示了RAG模型在处理多事实查询时，相似度检索只能可靠地找到相关片段，而非所有必需的片段。
2. 文档元信息的破坏：分块处理会破坏文档的元信息，导致无法解决涉及身份引用的查询。
3. 证据不足问题：EBG暴露了仅依赖答案评估无法发现的证据不足问题，例如在两针设置中的不完整引用，以及当上下文挑战参数化知识时，Ans与Ans+Evid之间的差距扩大。

技术价值与影响

EBG框架为长文本问答任务提供了一种更严格的评估方法，能够更全面地评估模型的推理能力和证据使用情况。这不仅有助于改进现有RAG模型的性能，还为未来AI系统在复杂推理任务中的发展提供了新的方向。

开发者建议

对于开发者而言，EBG框架的引入意味着在构建长文本问答系统时，需要更加关注证据的充分性和答案的可追溯性。建议在模型训练和评估过程中，引入Ans+Evid指标，并考虑使用EBG框架进行更全面的性能评估。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-21)

—— 完 ——

主题标签： #EBG 关注 #长文本问答 关注 #RAG 关注 #证据生成 关注 #多跳推理 关注