arXiv发布MemU-Bench：评估GUI智能体在长程用户交互中的表现

摘要：arXiv推出MemU-Bench，这是一个针对GUI智能体的全新基准测试框架，聚焦于长程用户交互中的模糊指令处理能力。MemU-Bench包含118个模糊任务，模拟真实用户行为中的记忆依赖性，旨在评估智能体在恢复缺失上下文方面的能力。实验表明，现有系统在处理模糊指令时表现不佳，GPT-5.5在引入AppMem框架后，其SPL（路径长度加权成功率）从15.7%提升至66.9%，展示了显著的性能改进。这一研究为开发更智能、更具适应性的GUI智能体提供了重要参考。

---

背景与挑战

在日常用户交互中，指令往往是模糊且依赖于历史上下文的，用户通常不会详细描述过去的操作，而是期望智能体能够从长程交互历史中恢复缺失的上下文。然而，现有的GUI基准测试主要依赖于精确且无状态的指令，难以全面评估智能体在真实场景中的表现。

MemU-Bench框架

为了填补这一评估空白，arXiv推出了MemU-Bench，这是一个包含118个模糊任务的基准测试框架，模拟了29种长程用户交互轨迹。任务结果通过序列化应用数据库进行验证，确保评估的准确性。此外，MemU-Bench引入了两个新指标：

• 交互效率（IE）：评估智能体完成任务所需的交互步骤数量。
• 路径长度加权成功率（SPL）：通过路径长度对成功率进行加权，暴露那些通过穷举搜索而非真正记忆恢复来完成任务的行为。

实验结果与发现

实验结果表明，现有系统在处理模糊指令时表现不佳。例如，Gemini-3.1-Pro的SPL仅为16.4%，而端到端的GUI智能体甚至低于5%。为了应对这一挑战，研究者提出了AppMem框架，该框架无需训练即可将用户历史提炼为结构化的、以应用为中心的记忆库，并通过目标应用推理选择性地检索相关记忆。

AppMem框架显著提升了GPT-5.5的性能，其SPL从15.7%提升至66.9%，同时在多个评估骨干模型中均表现出色。这一改进不仅展示了AppMem在处理模糊指令方面的有效性，还为未来的智能体开发提供了新的思路。

工程权衡与实际应用

AppMem框架的优势在于其无需训练即可实现高效的上下文恢复，这使得其在资源受限的环境中具有较高的实用性。然而，其性能提升也依赖于对用户历史数据的准确建模和推理，这可能对数据预处理和推理速度提出更高要求。

开发者建议

对于开发者而言，AppMem框架提供了一个无需复杂训练即可提升智能体性能的途径。建议在以下场景中优先考虑使用该框架：

• 资源受限的设备：如移动设备或嵌入式系统。
• 需要处理长程用户交互的任务：如智能助手或自动化客服系统。
• 对实时性要求较高的应用：如自动驾驶或机器人控制。

---

消息来源：ArXiv AI (cs.AI) (2026-11-03)

—— 完 ——

主题标签： #arXiv 关注 #GUI智能体 关注 #长程交互 关注 #模糊指令处理 关注 #AppMem 关注