ArXiv发布ADeptS-Bench:首个跨设备计算机使用代理可信度评估基准
摘要:ArXiv团队推出ADeptS-Bench,这是一款针对计算机使用代理(CUA)的双流可信度评估基准。该基准基于ADEPTS能力框架和大规模用户研究设计,包含安全与消歧两个评估流。安全流通过嵌入视觉界面的威胁任务评估代理的鲁棒性,而消歧流则测试代理在指令模糊时的澄清能力。实验表明,现有模型在任务成功率与攻击成功率之间难以平衡,且易受视觉界面中的恶意元素影响。ADeptS-Bench的发布为CUA的安全性和可靠性评估提供了重要工具。
背景与动机
计算机使用代理(CUA)正越来越多地被用于代表用户操作移动和桌面应用程序。然而,现有技术缺乏一个全面的基准来评估这些代理在处理模糊指令时与视觉界面的安全交互能力。
ADeptS-Bench简介
ADeptS-Bench是一款基于ADEPTS能力框架的双流可信度评估基准,包含以下两个评估流:
- 安全流(Safety Stream):提供成对的良性/恶意任务,恶意任务中嵌入了视觉界面的威胁,旨在评估代理在面对潜在攻击时的鲁棒性。
- 消歧流(Disambiguation Stream):评估代理在指令模糊时是否主动寻求澄清。
主要发现
- 性能瓶颈:在评估的七个模型中,没有一个模型能够在保持攻击成功率低于30%的同时,将任务成功率稳定提高到80%以上。
- 安全漏洞:所有模型在面对视觉界面中的恶意元素时都表现不佳,例如在$25,000的订单中毫不犹豫地点击“结账”,以及未能检测到“工厂重置”按钮被错误标记为“优化”。
- 架构分析:消融实验揭示了三种不同的安全架构:工具依赖型(ASR +21-23pp,无拒绝工具时)、部分工具依赖型(+10-11pp)和无机制型(无变化)。
- 消歧偏差:所有模型在消歧任务中均高估了后果的严重性,反映了安全评估中观察到的过度拒绝偏差。
工具发布
ADeptS-Bench的所有数据、评估代码和分析工具将在发布时公开,以促进更广泛的研究和应用。
行业影响
ADeptS-Bench的发布填补了CUA评估领域的空白,为开发更安全、更可靠的代理提供了重要支持。其应用范围包括智能家居、自动化办公和移动应用等领域。
开发者建议
- 关注安全架构:开发者应关注工具依赖型安全架构的改进,以提升代理的鲁棒性。
- 强化消歧能力:在设计代理时,应加入更强大的消歧机制,以减少对模糊指令的误解。
- 利用基准测试:建议使用ADeptS-Bench进行定期评估,以持续优化代理的性能和安全性。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-25)
主题标签: #ArXiv #ADeptS-Bench #计算机使用代理 #可信度评估 #多模态AI
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区