arXiv发布OpenFrontiers：跨学科科研问题库与科学重发现基准

摘要：arXiv近日发布了一项名为OpenFrontiers的研究资源，旨在为科研问题解决提供系统化支持。OpenFrontiers包含一个包含12,151个开放科研问题的跨学科语料库，以及一个包含200个问题的数学问题解决基准，其中110个问题在2026年得到解决，90个问题仍处于开放状态。该基准通过Lean 4语言进行形式化验证，并采用自动化探测和独立评审机制进行质量控制。OpenFrontiers的评估协议在封闭书、冻结检索和实时网络条件下对大语言模型（LLM）进行测试，结果显示封闭书重发现较为罕见，而实时网络成功主要依赖于已发表解决方案的检索。这一资源为评估科研级重发现能力提供了基础，并为解决当前开放科学问题提供了研究平台。

---

1. 背景与动机

大语言模型（LLM）在科研问题解决中展现了巨大潜力，但目前缺乏系统化的开放科研问题集合，且在科研级问题上的评估仍具挑战性。OpenFrontiers的发布旨在填补这一空白，通过提供跨学科的开放科研问题库和科学重发现基准，推动AI在科研领域的应用与发展。

2. OpenFrontiers的核心构成

• 开放科研问题语料库：包含12,151个问题，涵盖数学、物理、化学、生物等多个学科。每个问题记录了问题陈述、背景信息、解决进展等详细信息。
• 数学问题解决基准：包含200个问题，其中110个在2026年得到解决，90个仍处于开放状态。所有问题均采用Lean 4语言进行形式化验证，并由自动化探测和独立评审进行质量控制。
• HQ-50子集：从基准中筛选出50个高质量问题，用于更精细的评估。

3. 评估方法与结果

OpenFrontiers的评估协议在以下条件下对LLM进行测试：

• 封闭书条件：模型仅依赖预训练知识，不允许访问外部资源。
• 冻结检索条件：模型可以访问预定义的检索语料库，但不允许实时网络访问。
• 实时网络条件：模型可以访问实时网络资源。

在HQ-50子集上的测试结果显示：

• 封闭书重发现：较为罕见，仅有最多7个问题被解决。
• 实时网络成功：主要依赖于已发表解决方案的检索，而非真正的重发现能力。

4. 技术机制与工程权衡

• 形式化验证：采用Lean 4语言进行问题形式化，确保问题陈述的准确性和可验证性。
• 自动化探测与独立评审：结合自动化工具和人工评审，确保基准问题的质量。
• 多条件评估：通过不同条件下的测试，全面评估LLM在科研问题解决中的表现。

5. 开发者落地与部署建议

• 科研应用：建议科研人员利用OpenFrontiers语料库进行问题定义和解决路径探索。
• 模型训练与评估：建议AI开发者使用OpenFrontiers基准对LLM进行科研级问题解决能力的训练和评估。
• 跨学科协作：鼓励不同学科的研究人员共同参与OpenFrontiers的扩展和完善。

6. 未来展望

OpenFrontiers的发布为AI在科研领域的应用提供了新的平台和工具。未来，随着更多问题和解决方案的加入，OpenFrontiers有望成为科研问题解决的重要资源，推动AI与科学研究的深度融合。

---

消息来源：ArXiv AI (cs.AI) (2026-10-30)

—— 完 ——

主题标签： #OpenFrontiers 关注 #大语言模型 关注 #科研问题解决 关注 #基准测试 关注 #arXiv 关注