智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #多跳问答 #选择性回答 #证据充分性 #训练框架 #arXiv

arXiv发布Evidence Sufficiency Boundary Training:提升多跳问答系统的选择性回答能力

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于多跳问答系统的新研究,提出了Evidence Sufficiency Boundary Training(证据充分性边界训练)方法。该方法通过构建有序证据链并直接监督从拒绝到回答的过渡过程,提升了模型在多跳问答中的选择性回答能力。实验结果表明,该方法在边界定位准确性和未支持回答率方面表现优异,同时保持了与基线方法相当的问答性能。


研究背景与动机

在多跳问答(Multi-Hop QA)任务中,系统需要结合多个信息片段来回答复杂问题。然而,当提供的证据不足以支持回答时,系统容易产生错误或误导性的答案。为了解决这一问题,研究人员提出了Evidence Sufficiency Boundary Training(证据充分性边界训练)方法,旨在提升模型在多跳问答中的选择性回答能力。

方法概述

Evidence Sufficiency Boundary Training是一种生成式训练框架,其核心思想是构建有序的证据链,并直接监督模型从拒绝到回答的过渡过程。具体方法包括:

  • 有序证据链构建:从HotpotQA、2WikiMultiHopQA和MuSiQue等数据集构建证据链,确保证据的逻辑顺序和完整性。
  • 边界监督机制:通过边界翻转边界(boundary flip margin)和后边界稳定性(post-boundary stability)机制,监督模型在证据不足时拒绝回答,在证据充分时准确回答,并在添加冗余证据时保持回答稳定。
  • 回答召回保护:确保模型在证据充分时能够正确回忆并提供准确的答案。

实验结果

实验结果表明,Evidence Sufficiency Boundary Training在多个指标上表现优异:

  • 边界定位准确性:在Qwen2.5-3B-Instruct和LoRA适配下,模型的边界翻转准确率达到0.807,显著高于基于token级别的拒绝基线方法(0.781)。
  • 未支持回答率:在外部不可回答集合上的未支持回答率为0.095,低于基线方法的0.101。
  • 问答性能:在保持与基线方法相当的原始问答F1分数的同时,显著提升了选择性回答能力。

技术亮点

  • 创新性训练框架:首次提出了一种生成式训练框架,直接监督模型从拒绝到回答的过渡过程。
  • 多层次监督机制:结合了边界翻转边界、后边界稳定性和回答召回保护等机制,实现了更精细的监督。
  • 显著的性能提升:在多个基准测试中,模型在边界定位和未支持回答率方面均表现出色。

行业影响与开发者建议

Evidence Sufficiency Boundary Training为多跳问答系统提供了一种新的训练思路,能够有效提升模型在复杂场景下的选择性回答能力。开发者可以参考该方法,在以下方面进行优化:

  • 证据链构建:优化证据链的构建过程,确保证据的逻辑顺序和完整性。
  • 边界监督机制:引入更精细的边界监督机制,提升模型在证据不足时的拒绝能力。
  • 回答召回保护:加强回答召回保护机制,确保模型在证据充分时能够正确回忆并提供准确的答案。

结论

Evidence Sufficiency Boundary Training为多跳问答系统提供了一种有效的训练方法,能够显著提升模型的选择性回答能力,为未来的AI研究提供了新的方向。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-03)

—— 完 ——

主题标签: #多跳问答 #选择性回答 #证据充分性 #训练框架 #arXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…