arXiv提出高效查询聚焦会议摘要生成方法：基于检索片段训练提升性能

摘要：arXiv发布的研究提出了一种基于检索片段（Retrieved-Span）的训练方法，用于提升查询聚焦会议摘要生成的效果。研究通过重新评分或生成15个系统，并使用统一的推理接口，展示了在QMSum基准测试中，406M参数模型在切换到2000词检索片段后性能下降，但通过微调恢复并超越基线。此外，该方法在保持较低参数规模和推理内存需求的同时，显著提升了模型性能。

---

研究背景与动机

在会议摘要生成领域，查询聚焦的摘要生成（Query-Focused Meeting Summarization）是一项重要任务。然而，现有的QMSum基准测试缺乏统一的评分标准，导致不同系统之间的结果难以比较。为了解决这一问题，研究者提出了一种基于检索片段（Retrieved-Span）的训练方法，旨在提升模型性能并提供更可靠的评估基准。

方法与实验

1. 统一推理接口：研究者首先构建了一个统一的推理接口，用于重新评分或生成15个不同的系统。这一步骤确保了不同系统之间的结果具有可比性。
2. 检索片段训练：通过将输入从长文本切换到2000词的检索片段，研究者发现406M参数的Fusion-in-Decoder模型性能下降了6.30 ROUGE-1。然而，通过在该片段上进行微调，模型性能得以恢复，并在测试中达到了36.33 ROUGE-1，超过了1.2B参数模型的35.41分。
3. 性能对比：在固定1.2B参数基线模型中，片段微调增加了5.29分，而替换前4500词为2000词检索片段增加了1.55分。此外，在简洁提示和参考重叠评分器下，406M参数模型在ROUGE-1指标上领先五个专有模型至少6.2分。

主要发现

• 参数效率：较小的模型在保持高性能的同时，显著减少了参数数量和推理内存需求。
• 片段微调的有效性：通过片段微调，模型能够恢复并超越原始性能，展示了该方法在处理长文本时的优势。

行业影响与开发者建议

1. 提升模型效率：该方法为资源受限的应用场景提供了一种高效的解决方案，能够在保持高性能的同时减少计算资源需求。
2. 统一评估标准：研究强调了统一推理接口的重要性，为未来的研究提供了更可靠的评估基准。
3. 应用场景：该方法适用于需要处理长文本和多轮对话的场景，如会议记录、客户服务和智能助手等。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-23)

—— 完 ——

主题标签： #arXiv 关注 #会议摘要 关注 #检索片段训练 关注 #QMSum 关注 #模型微调 关注