智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #arXiv #SAGE #AI评审 #科研经费 #证据驱动

arXiv发布SAGE系统:革新科研经费评审流程,实现基于证据的智能评估

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv近日发布了一种名为SAGE(Schema-Guided Aspect-Based Grant Evaluation)的新系统,旨在通过将资助评审标准转化为结构化检查,并结合申请材料中的证据进行评估,从而提升科研经费评审的效率和准确性。在对35项非营利组织资助申请的测试中,SAGE在辅助评审阶段表现出色,与传统方法相比,其一致性指标(kappa值)从0.29提升至0.58,显著减少了评审错误并提高了评审质量。该系统通过生成详细、可审计的草稿,为专家评审提供了可靠支持,标志着AI在复杂评审任务中的应用迈出了重要一步。


1. 引言

在科研经费评审过程中,评审人员需要仔细审查申请材料、预算和支撑文件,并生成可供同行审核的评估报告。然而,传统的人工评审方法往往耗时且容易出错。为了解决这一问题,arXiv团队开发了SAGE(Schema-Guided Aspect-Based Grant Evaluation)系统。

2. SAGE系统概述

SAGE系统通过将资助评审标准转化为结构化检查,并结合申请材料中的证据进行评估。其核心功能包括:

  • 结构化检查:将评审标准转化为可执行的检查项。
  • 证据链接:将评审判断与申请材料中的具体证据关联起来。
  • 可审计草稿生成:为专家评审提供详细、可审计的草稿。

3. 测试与结果

SAGE系统在两个阶段进行了测试:

  1. 初始测试:对35项非营利组织资助申请进行了评估,并与原始评审结果进行了对比,结果显示一致性指标(kappa值)为0.29,表明SAGE的初步表现较为合理。
  2. 辅助评审阶段:在基金会审查SAGE生成的草稿后,重新进行了评估,产生了202项评估结果。在这一阶段,SAGE的表现显著提升,kappa值达到0.58,超过了每条标准一个提示基线方法的0.33。

此外,SAGE在排名相关性方面表现优异,错误率也更低。

4. 技术亮点

  • 基于模式的评估框架:SAGE采用基于模式的评估框架,能够灵活适应不同的评审标准。
  • 证据驱动的决策过程:通过将评审判断与具体证据关联,SAGE提高了评审的透明度和可追溯性。
  • 可审计的草稿生成:SAGE生成的草稿详细且可审计,为专家评审提供了可靠支持。

5. 行业影响与未来展望

SAGE系统的发布标志着AI在复杂评审任务中的应用取得了重要进展。其在科研经费评审中的应用,不仅可以提高评审效率,还能提升评审的准确性和透明度。未来,SAGE有望扩展到其他领域的评审任务,如法律、医疗和教育等,为AI在复杂决策支持中的应用开辟新的道路。

6. 开发者建议

  • 领域适配:开发者可以根据具体领域的评审标准,对SAGE进行定制化调整。
  • 证据集成:进一步集成多源证据数据,如文献数据库和专家知识库,以提升评估的全面性。
  • 用户界面优化:开发更友好的用户界面,方便评审人员使用SAGE进行评估。

消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-21)

—— 完 ——

主题标签: #arXiv #SAGE #AI评审 #科研经费 #证据驱动

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…