智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #长文本问答 #检索机制 #上下文规划 #Qwen模型 #arXiv

arXiv发布长文本问答研究:规划方法不敌强检索机制

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于长文本问答(QA)中上下文规划方法的研究。研究通过严格的实验设计,测试了在强检索、路由、预算选择和重排序控制下,学习型上下文规划对多选问答的提升效果。结果表明,在18k字符预算下,基于检索的方法(如锚定混合检索和BM25)表现优于规划引导方法(最高34.19%准确率),且在未测试的152个问题中,检索方法的优势更为明显。研究指出,在当前设置下,学习型规划是一个较弱的关联信号,无法替代强检索机制。


研究背景与目标

长文本问答(Long-context QA)是自然语言处理领域的重要研究方向,旨在解决在长文本中提取和推理答案的挑战。传统的检索方法依赖于强大的检索机制,而学习型上下文规划则试图通过智能选择证据原子来提升问答性能。本研究旨在评估在强检索、路由、预算选择和重排序控制下,学习型上下文规划是否能够显著提升长文本多选问答的性能。

实验设计与方法

研究使用了Qwen2.5-7B-Instruct模型,并在LongBench-v2多选问答数据集上进行了测试。实验设计包括以下几个关键步骤:

  1. 规划器训练:规划器通过监督微调(SFT)训练,使用140个训练问题和28个开发问题的结果选择轨迹进行训练。
  2. 实验设置:在18k字符预算下,测试了锚定混合检索、BM25以及规划引导方法的表现。
  3. 评估指标:主要评估指标为准确率,同时对预算限制下的表现进行了详细分析。

主要发现

  1. 检索方法的优势:在18k字符预算下,锚定混合检索和BM25的准确率分别达到36.18%和35.98%,而最佳规划引导方法的准确率为34.19%。
  2. 未测试问题的表现:在未测试的152个问题上,锚定混合检索的优势更为明显,准确率达到42.11%,而规划引导方法为36.84%。
  3. 预算限制的影响:在6k字符预算下,最佳规划引导方法仅领先0.40个百分点,而在9k字符预算下则落后于控制组。
  4. 机制分析:通过打包顺序和评分平坦度分析,未发现稳定的机制,表明学习型规划在当前设置下是一个较弱的关联信号。

结论与启示

研究表明,在长文本问答中,学习型上下文规划无法替代强检索机制。尽管规划方法在某些情况下表现出一定的优势,但整体上仍不足以超越传统的检索方法。这为未来的研究提供了新的方向,即如何更好地结合检索和规划方法以提升长文本问答的性能。

对开发者的建议

  1. 优先考虑检索机制:在长文本问答任务中,优先考虑使用强大的检索机制作为基础。
  2. 探索混合方法:可以考虑将规划方法与检索机制结合,探索更有效的混合方法。
  3. 关注预算限制:在资源受限的环境中,需谨慎评估规划方法的效果。

消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-24)

—— 完 ——

主题标签: #长文本问答 #检索机制 #上下文规划 #Qwen模型 #arXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…