arXiv 发布 SRBench：用于系统综述筛选的 LLM 评估基准框架

摘要：arXiv 近日发布了一款名为 SRBench 的基准数据集和框架，用于评估大语言模型（LLM）在系统综述（SR）筛选中的性能。该框架包含 45,064 个标注条目，涵盖 32 个精心策划的二次研究，解决了传统评估方法在处理高度不平衡数据集时的局限性。此外，SRBench 还引入了 PromptSR 工具，支持提示实验、实验管理和结果分析。该研究通过实际案例展示了 SRBench 和 PromptSR 在提升 LLM 辅助 SR 筛选效率方面的应用潜力，为 AI 驱动的科学研究提供了更可靠的评估工具。

---

背景与挑战

系统综述（Systematic Review, SR）是循证研究的重要组成部分，但其筛选阶段耗时且劳动强度大。大语言模型（LLM）为减少这种工作量提供了机会，但现有评估方法往往依赖传统指标，可能在处理高度不平衡的 SR 筛选数据集时产生误导性结果。

主要贡献

1. SRBench 基准数据集发布：包含 45,064 个标注条目，涵盖 32 个精心策划的二次研究，为评估 LLM 在 SR 筛选中的表现提供了丰富的数据支持。
2. 创新评估框架：SRBench 提出了一个考虑类别不平衡的评估框架，即在 SR 中被排除的文章相对于被纳入的文章的自然出现率。
3. PromptSR 工具引入：该工具旨在支持基于 LLM 的筛选中的提示实验、实验管理和结果分析，简化了研究流程并提升了效率。
4. 实际案例展示：通过具体案例展示了 SRBench 和 PromptSR 在提升 LLM 辅助 SR 筛选效率方面的应用潜力。

技术亮点

• 数据规模与多样性：45,064 个标注条目提供了充足的数据支持，确保评估的全面性和可靠性。
• 类别不平衡处理：通过考虑 SR 中被排除和被纳入的文章的自然出现率，框架能够更准确地反映 LLM 的实际性能。
• 工具集成：PromptSR 的引入使得研究人员能够更高效地进行提示实验和管理，提升了整体研究效率。

行业影响与开发者建议

• 对科研人员的影响：SRBench 和 PromptSR 的发布为 AI 驱动的科学研究提供了更可靠的评估工具，有助于提升系统综述的效率和准确性。
• 对开发者的建议：建议开发者利用 SRBench 数据集和 PromptSR 工具进行 LLM 模型的评估和优化，特别是在处理高度不平衡数据集时。
• 未来研究方向：未来可以进一步扩展 SRBench 数据集，并探索更多基于 LLM 的科学研究辅助工具。

结论

SRBench 和 PromptSR 的发布标志着 AI 在科学研究辅助领域的重要进展，为 LLM 在系统综述筛选中的应用提供了更可靠的评估框架和工具。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-28)

—— 完 ——

主题标签： #大语言模型 #系统综述 #基准框架 #数据不平衡 #LLM评估