LHTB 2.0发布：革新长时智能体评估基准，专注持续性任务表现

摘要：Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0) 是对现有长时智能体评估基准的扩展版本，保留了46个原始任务并修复了任务和评估基础设施中的缺陷，同时新增31个任务，总计包含77个任务，涵盖13个领域和8种任务类型。LHTB 2.0 通过引入参数化的参考实现、行为证据生成和密集进度阶梯等机制，更精确地衡量智能体在长时任务中的持续性表现，并支持长达三小时的评估时间。实验表明，GPT-6-astra 在该基准中表现最佳，展示了其在复杂任务中的领先优势。LHTB 2.0 为研究智能体在长时任务中的可靠执行提供了更全面、更严格的测试平台。

---

核心突破

Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0) 是对长时智能体评估基准的重大升级，主要特点包括：

1. 任务扩展与修复：在保留46个原始任务的基础上，修复了任务和评估基础设施中的缺陷，并新增31个任务，总计77个任务，涵盖13个领域和8种任务类型。

2. 评估机制改进：引入了参数化的参考实现和密集进度阶梯机制，使得智能体在长时任务中的持续性表现能够被更精确地衡量。

3. 评估时间延长：将评估时间从90分钟延长至三小时，并每30分钟记录一次检查点，直接测量智能体在运行中的持续性进展。

4. 行为证据与奖励机制：通过生成行为证据和密集进度阶梯，奖励智能体的部分进展，同时防止对公共输出的记忆化。

技术机制剖析

LHTB 2.0 的核心在于其任务生成与评估管道：

• 任务生成：从现有的科学或工程制品出发，使用参数化的参考实现生成多个场景，选取其中六个作为行为证据，保留三个用于评估。

• 评估方法：采用密集进度阶梯来奖励智能体的部分进展，而不是仅依赖最终状态的二元检查。这种方法能够更全面地捕捉智能体在任务中的表现。

• 评估基础设施：通过每30分钟记录一次检查点，评估智能体在长时任务中的持续性进展。

工程权衡与实测表现

LHTB 2.0 在多个方面进行了优化，但也面临一些权衡：

• 评估时间与资源消耗：延长评估时间至三小时，虽然提高了评估的全面性，但增加了计算资源的需求。

• 任务复杂性：新增的任务类型和领域增加了评估的复杂性，使得智能体在多样化任务中的表现能够被更准确地衡量，但也对智能体的泛化能力提出了更高要求。

实验结果表明，GPT-6-astra 在LHTB 2.0 中表现最佳，展示了其在复杂任务中的领先优势。

开发者落地与部署建议

对于开发者而言，LHTB 2.0 提供了一个更全面、更严格的测试平台，可以用于评估智能体在长时任务中的表现。建议开发者：

• 充分利用LHTB 2.0 的评估机制，全面测试智能体在多样化任务中的表现。

• 关注智能体在长时任务中的持续性进展，而不是仅依赖最终结果的二元检查。

• 结合LHTB 2.0 的行为证据与奖励机制，优化智能体的任务执行策略。

结论

LHTB 2.0 的发布标志着长时智能体评估基准的重大进步，为研究智能体在长时任务中的可靠执行提供了更全面、更严格的测试平台。

---

消息来源：ArXiv AI (cs.AI) (2026-10-15)

—— 完 ——

主题标签： #长时智能体 关注 #评估基准 关注 #GPT-6 关注 #人工智能 关注 #强化学习 关注