arXiv发布Long-Horizon-Terminal-Bench 2.0：革新长时智能体持续性评估基准

摘要：arXiv推出了Long-Horizon-Terminal-Bench 2.0（LHTB 2.0），这是一款用于评估智能体在长时任务中持续性进展的基准测试平台。相较于前代版本，LHTB 2.0修复了任务和评估基础设施的缺陷，并扩展了31个任务，总计包含77个任务，涵盖13个领域和8种任务类型。LHTB 2.0引入了密集进度梯度和每30分钟记录一次检查点的方法，能够更精确地测量智能体在任务中的持续性表现。实验表明，现有模型在复杂任务中的表现仍有提升空间，而LHTB 2.0为研究可靠智能体执行提供了更广泛、更严格且更具过程意识的测试环境。

---

概述

Long-Horizon-Terminal-Bench 2.0（LHTB 2.0）是由arXiv推出的一款用于评估智能体在长时任务中持续性进展的基准测试平台。该平台在原有46个任务的基础上，修复了任务和评估基础设施的缺陷，并新增了31个任务，总计包含77个任务，涵盖13个领域和8种任务类型。

技术机制剖析

LHTB 2.0的核心创新点包括：

1. 任务扩展与修复：通过系统化的重建任务流程，LHTB 2.0不仅修复了原有任务的缺陷，还新增了多个任务，提供了更广泛的任务覆盖范围。
2. 密集进度梯度和检查点记录：引入了密集进度梯度和每30分钟记录一次检查点的方法，能够更精确地测量智能体在任务中的持续性表现。
3. 过程意识评估：通过奖励部分进展并防止对公共输出的记忆，LHTB 2.0能够更公平地评估智能体的过程意识能力。

工程权衡与实测表现

在1,145个模型-任务运行中，GPT-6-astra在密集平均奖励和任务通过率方面表现最佳，其密集平均奖励为0.69，37个任务通过率至少为0.95。紧随其后的是GPT-5.6-sol，其密集平均奖励为0.67，32个任务通过率至少为0.95。

在30个重建任务中，二进制锚点评分平均为0.221，而密集梯形评分平均为0.653。这表明，仅依赖最终结果的评估方法会忽略大量的中间进展，而LHTB 2.0的评估方法能够更全面地反映智能体的表现。

开发者落地与部署建议

LHTB 2.0为研究人员和开发者提供了一个更严格、更全面的测试环境，帮助他们评估和改进智能体在长时任务中的表现。建议开发者在以下方面进行重点关注：

• 任务多样性：利用LHTB 2.0的多样化任务，测试智能体在不同领域和任务类型中的表现。
• 持续性评估：关注智能体在长时间任务中的持续性进展，而不仅仅是最终结果。
• 过程意识：通过LHTB 2.0的评估方法，改进智能体的过程意识能力，使其能够更好地处理复杂任务。

结论

LHTB 2.0的发布标志着智能体评估领域的一个重要里程碑。它不仅提供了更广泛、更严格的任务覆盖，还引入了新的评估方法，能够更全面地反映智能体的表现。

---

消息来源：ArXiv AI (cs.AI) (2026-10-14)

—— 完 ——

主题标签： #arXiv 关注 #智能体评估 关注 #长时智能体 关注 #基准测试 关注 #过程意识 关注