arXiv发布REALCLI：统一评估人机协作的CLI智能体基准测试

摘要：arXiv近日发布了一项名为REALCLI的新研究，旨在解决现有CLI智能体基准测试的局限性。REALCLI通过构建一个包含五个维度的框架，并细化为22个子维度和51个交互场景模板，提供了一种统一评估任务执行与人机协作质量的方法。测试结果表明，现有智能体在协作质量方面存在显著不足，尤其在可操作性、信任校准和安全边界管理方面表现不佳。REALCLI为推进协作型CLI智能体的发展提供了严谨且可重复的评估基础。

---

1. 研究背景与动机

近年来，命令行界面（CLI）智能体在执行长时任务方面取得了显著进展。然而，现有的基准测试方法存在明显不足：它们通常假设用户指令在整个执行过程中保持不变，或者仅评估任务结果而忽略了实时协作质量。为了解决这些问题，arXiv的研究团队提出了REALCLI，一种全新的基准测试方法，旨在统一评估任务执行与人机协作质量。

2. REALCLI的核心机制

REALCLI构建了一个包含五个维度的框架：任务复杂性、用户交互、协作质量、模型性能和安全性。每个维度进一步细化为22个子维度和51个交互场景模板。REALCLI提供两种评估模式：

• REALCLI-EXEC：提供完整的任务规范，用于评估智能体在固定指令下的表现。
• REALCLI-COLLAB：引入脚本化用户，模拟渐进式信息传递、纠正、约束修订和授权决策，以评估智能体在动态协作中的表现。

3. 测试结果与发现

测试结果表明，现有智能体在协作质量方面存在显著不足。在REALCLI-EXEC模式下，最佳配置的平均得分仅为49.2%；而在REALCLI-COLLAB模式下，联合协作得分（$J_{\mathrm{collab}}$）的峰值仅为37.6%。这些数据表明，任务有效性与协作质量之间存在显著差距，智能体在可操作性、信任校准和安全边界管理方面表现不佳。

4. 未来展望与影响

REALCLI为评估和改进协作型CLI智能体提供了一个严谨且可重复的框架。其结果揭示了当前智能体在复杂协作任务中的局限性，并为未来的研究指明了方向。研究团队计划进一步扩展REALCLI的交互场景模板，并探索更先进的协作机制，以提升智能体的整体性能。

5. 开发者建议

对于开发者而言，REALCLI提供了一种新的评估工具，可以帮助识别智能体在协作任务中的不足。建议开发者利用REALCLI进行多轮测试，并结合其结果优化智能体的协作策略。此外，开发者还可以利用REALCLI的交互场景模板构建更复杂的测试用例，以全面评估智能体的性能。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-19)

—— 完 ——

主题标签： #CLI智能体 关注 #人机协作 关注 #基准测试 关注 #arXiv 关注 #AI研究 关注