智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #RAG #NLP #arXiv #检索增强生成 #模型评估

arXiv 发布 RAG 组件联合评估框架:解析器、分块策略与嵌入模型交互研究

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 33 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv 平台发布了一项关于检索增强生成 (RAG) 组件的联合评估研究。该研究系统分析了 3 种解析器、3 种分块策略和 5 种密集嵌入模型,以及稀疏 BM25 基线模型,通过对 800 个问题实例的评估,揭示了不同组件组合对检索性能的影响。研究发现,没有单一检索器在所有文档中占优,解析器和分块策略的选择存在显著交互作用,而 MPNet-base 在处理表格问题时表现不佳。此外,研究还探讨了嵌入维度与分块大小/重叠的消融实验,并发布了完整的评估工具包和 800 个问题的基准数据集,为 RAG 系统的优化提供了重要参考。


研究背景与动机

检索增强生成 (RAG) 系统通常由独立的组件构成,包括文档解析器、分块策略和嵌入模型。然而,这些组件的选择很少被联合评估,且现有评估通常仅针对单一文档或语料库进行。这导致难以全面了解不同组件组合对检索性能的影响。

研究方法

研究团队设计了一项受控的因子实验,评估了 3 种解析器、3 种分块策略和 5 种密集嵌入模型,以及稀疏 BM25 基线模型。实验基于 800 个问题实例,每个实例包含一个或多个证据字符串,证据字符串经过自动验证和 10% 的随机人工审查。实验数据涵盖四种结构不同的印度中央政府法规文件。

主要发现

  1. 无单一最优检索器:没有一种检索器在所有文档中占优,解析器和分块策略的选择对检索性能有显著影响。
  2. MPNet-base 表现不佳:在处理表格问题时,MPNet-base 表现出严重的失败模式。
  3. 证据保留接近饱和:语料库的证据保留率接近 98%,表明检索差异主要由排序质量而非信息丢失驱动。
  4. 嵌入维度与分块大小的影响:研究还探讨了嵌入维度和分块大小/重叠的消融实验,并进行了效率/质量帕累托分析。

技术亮点

  • 联合评估框架:首次系统评估了 RAG 组件的交互作用,为优化 RAG 系统提供了新的视角。
  • 大规模数据集:包含 800 个问题实例和四种结构不同的文档,确保了评估的全面性和可靠性。
  • 开源工具包:研究团队发布了完整的评估工具包和基准数据集,为后续研究提供了重要资源。

行业影响与开发者建议

这项研究为 RAG 系统的优化提供了宝贵的见解,建议开发者在选择解析器和分块策略时考虑其交互作用,并关注嵌入模型的性能瓶颈。此外,研究结果也表明,在处理复杂文档时,模型的选择和配置需要更加谨慎。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-29)

—— 完 ——

主题标签: #RAG #NLP #arXiv #检索增强生成 #模型评估

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…