RealtimeBench与TORSI：实时智能体评估与跨时学习新框架

摘要：本文提出了一种名为RealtimeBench的实时智能体评估基准，包含180项任务，涵盖六种游戏类型，用于在推理过程中持续运行游戏的情况下评估智能体的表现。研究发现，GPT-6.1-sol在暂停游戏时表现优于更快的Jev，但在持续运行的游戏中却落后。为此，作者提出了一种名为Two-Timescale Offline Recursive Self-Improvement (TORSI)的新方法，通过慢速教师智能体分析失败并测试修正方案，然后为快速学生智能体编写可重用的指令。实验表明，TORSI显著提升了Jev在所有六种游戏类型中的平均测试分数，从13.51提升至24.19，同时该指令也无需重新调整即可提升其他三个模型的平均分数。这些发现为实现实时智能提供了新的思路，使强大的LLM智能体能够在持续变化的世界中保持高效。

---

实时智能体评估与跨时学习的新框架

1. RealtimeBench：实时智能体评估基准

RealtimeBench是一个全新的智能体评估基准，包含180项任务，涵盖六种不同的游戏类型。该基准旨在评估智能体在推理过程中持续运行游戏时的表现，模拟真实世界中环境持续变化的情景。

2. TORSI：跨时学习新方法

为了应对实时环境中的挑战，作者提出了一种名为Two-Timescale Offline Recursive Self-Improvement (TORSI)的新方法。该方法包括两个主要阶段：

• 慢速教师智能体阶段：教师智能体在暂停的游戏中分析失败案例，并测试修正方案。
• 快速学生智能体阶段：教师智能体为学生智能体编写可重用的指令，学生智能体在游戏运行过程中无需教师干预即可执行任务。

3. 实验结果与分析

实验结果表明，GPT-6.1-sol在暂停游戏时表现优于更快的Jev，但在持续运行的游戏中却落后。TORSI方法显著提升了Jev在所有六种游戏类型中的平均测试分数，从13.51提升至24.19。此外，该指令也无需重新调整即可提升其他三个模型的平均分数，展示了其广泛的适用性。

4. 实时智能的潜力

这些发现为实现实时智能提供了新的思路，使强大的LLM智能体能够在持续变化的世界中保持高效。TORSI方法通过组织跨时学习、推理和行动，为AI智能体在复杂任务中的高效部署提供了新的路径。

5. 工程权衡与挑战

尽管TORSI方法在提升智能体性能方面表现出色，但其实现也面临一些挑战。例如，慢速教师智能体的训练和推理过程需要较高的计算资源，而快速学生智能体的指令编写和执行则需要高效的算法设计。此外，如何在动态环境中保持智能体的稳定性和鲁棒性也是需要进一步研究的问题。

开发者建议

• 资源管理：在部署TORSI方法时，建议根据任务需求合理分配计算资源，以平衡性能与成本。
• 指令优化：教师智能体编写的指令应尽量简洁明了，以便快速学生智能体能够高效执行。
• 持续监控与调整：建议对智能体的表现进行持续监控，并根据环境变化及时调整指令和策略。

---

消息来源：ArXiv AI (cs.AI) (2026-10-17)

—— 完 ——

主题标签： #RealtimeBench 关注 #TORSI 关注 #智能体评估 关注 #跨时学习 关注 #实时智能 关注