智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #LLM #证据综合 #筛选工作流程 #召回率 #ArXiv

ArXiv研究:LLM与人工筛选工作流程在复杂概念综述中的对比分析

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队在一项预注册研究中,对比了人类与大语言模型(LLM)在复杂概念综述中的标题与摘要筛选工作流程。研究发现,尽管LLM在某些配置下实现了较高的召回率(高达83.9%),但其性能高度依赖于具体工作流程和处理配置,而非仅由模型本身决定。研究强调,LLM更适用于经过验证、可审计且有人类监督的筛选流程,而非完全自动化排除。


研究背景

大语言模型(LLM)在证据综合中的筛选应用日益广泛,但错误否定可能导致在全文评估前排除相关研究。本研究旨在对比人类与LLM在复杂概念综述中的标题与摘要筛选工作流程。

研究方法

在保守的仅标题筛选后,1,131条记录由一名评审负责人、四名训练有素的助手(分别筛查不重叠的子集)以及七次使用不同模型和处理配置的完整LLM运行(包括一次名义上相同的重复运行)进行筛查。研究比较了保留的工作量、对316条验证合格记录的运营召回率、一致性、运行间一致性和程序负担。由于仅对在父评审中推进并评估的记录验证了资格,因此召回率估计是运营性的。

研究结果

  • 没有一个工作流程恢复了所有验证合格的记录。
  • 人类工作流程和两次GPT-5.4文件批处理运行保留了42.2-45.0%的记录,同时实现了82.3-82.9%的召回率。
  • Gemini 3.1文件批处理实现了最高的召回率(83.9%),但保留了56.7%的记录。
  • 一次性配置恢复的合格记录少于相应的文件批处理配置。
  • 两次名义上相同的GPT-5.4文件批处理运行在91.7%的记录上达成一致,但在94条记录上存在差异,包括29条仅被一次运行保留的验证合格记录。

讨论

LLM的筛选性能取决于实施的工作流程,而不仅仅是模型的标识。因此,处理配置、工作量、记录级变异以及人机决策集成是部署系统的实质性属性。对于高召回率任务,LLM更适合于经过验证、可审计且有人类监督的工作流程,而非完全自动化排除。

行业影响与开发者建议

  1. 工作流程的重要性:LLM的筛选性能不仅依赖于模型本身,还与工作流程和处理配置密切相关。开发者在应用LLM进行筛选时,应重视工作流程的设计与优化。
  2. 人类监督的必要性:在高召回率任务中,LLM应与人类监督结合使用,以确保筛选结果的准确性和可靠性。
  3. 模型选择与配置:不同模型和配置在特定任务中的表现可能存在显著差异。开发者应根据具体需求选择合适的模型和处理配置。
  4. 持续评估与改进:定期评估LLM的筛选性能,并根据评估结果进行持续改进,以提升整体效率和准确性。

消息来源:ArXiv cs.AI (2026-08-27)

—— 完 ——

主题标签: #LLM #证据综合 #筛选工作流程 #召回率 #ArXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…