arXiv研究：饱和基准测试中的模型能力评估新方法

摘要：随着AI模型能力的快速提升，基准测试逐渐趋于饱和，导致其区分模型能力的效果下降。arXiv的一项新研究提出了一种新方法，通过分析饱和基准测试中模型的任务解决过程（transcripts），在基准测试无法区分模型时，仍能有效评估模型的能力。研究发现，任务解决过程的详细记录中包含丰富的能力相关信息，尤其在推理和工具调用等特定信息通道中表现突出。通过对历史基准测试和模型发布进行模拟，研究表明，基于成对判断的评估方法相较于仅使用饱和基准测试分数的基线方法，预测误差降低了5.3倍。

---

研究背景与问题

随着人工智能技术的快速发展，AI模型的性能不断提升，传统的基准测试（benchmark）逐渐趋于饱和。当多个模型在基准测试中接近满分时，基准测试的区分能力下降，无法有效评估模型的真实能力。这对AI安全性和前沿政策制定带来了挑战，因为现有的评估方法无法提供足够的信息来区分模型间的细微差异。

研究方法与发现

本研究提出了一种新的评估方法，通过分析饱和基准测试中模型的任务解决过程（transcripts），来提取模型的能力相关信息。研究团队模拟了历史基准测试和模型发布，并测试了以下几种方法：

1. 成对判断（Pairwise Judging）：通过比较两个模型的任务解决过程，判断哪个模型更优。
2. 单次绝对评分（Single-Transcript Absolute Scoring）：对单个模型的任务解决过程进行独立评分。
3. 确定性特征或嵌入预测（Deterministic Transcript Features or Embeddings）：利用模型任务解决过程的特征或嵌入进行预测。

实验结果表明，成对判断方法在预测模型能力方面表现最佳，其预测误差相较于仅使用饱和基准测试分数的基线方法降低了5.3倍。此外，研究还发现，任务解决过程中的能力相关信息并非均匀分布，而是集中在推理和工具调用等特定信息通道中。

工程权衡与挑战

尽管饱和基准测试的转录本保留了评估模型能力的重要信息，但这些信息的预测能力并不总是能跨分布变化。例如，在2025年初引入的首批推理模型中，评估方法低估了它们的能力。这表明，扩展现有基准测试的使用寿命需要设计更稳健的信号提取方法，以应对不同的分布变化。

对开发者的建议

1. 重视任务解决过程的记录与分析：在模型评估中，不仅要关注基准测试的最终分数，还要深入分析任务解决过程的细节。
2. 采用成对判断方法：在模型比较中，使用成对判断方法可以更有效地捕捉模型间的细微差异。
3. 关注特定信息通道：在分析任务解决过程时，重点关注推理和工具调用等关键信息通道，以获取更准确的能力评估。

结论

饱和基准测试的转录本中包含丰富的能力相关信息，通过设计更稳健的信号提取方法，可以有效延长现有基准测试的使用寿命，为AI模型的能力评估提供更可靠的依据。

---

消息来源：ArXiv AI (cs.AI) (2026-10-17)

—— 完 ——

主题标签： #AI评估 关注 #基准测试 关注 #模型能力 关注 #arXiv 关注 #AI安全 关注