ZJU-REAL发布EvoSkill-GUI:无需训练即可提升GUI智能体技能库
摘要:浙江大学ZJU-REAL实验室发布了一种名为EvoSkill-GUI的新型框架,旨在解决GUI智能体在动态用户界面中面临的技能失效问题。该框架采用无需训练的模式,通过“反思-修订-重用”的循环机制,使智能体能够根据执行反馈实时调整技能库,从而提升任务执行效率。在MobileWorld、AndroidWorld和OSWorld三大主流GUI基准测试中,EvoSkill-GUI在多个基础模型上实现了显著的性能提升,最高分别达到+16.2%、+6.0%和+10.5%。该框架的技能库可跨任务复用,避免了重复开发。
背景与挑战
在动态图形用户界面(GUI)中,智能体需要处理弹窗、延迟加载和组件重定位等复杂情况,这些因素常常导致预定义的执行计划失效。现有的智能体技能框架虽然封装了可重用的过程性知识,但这些技能设计往往没有针对GUI执行动态进行优化,且被视为静态的预部署产物,而非能够通过执行反馈持续改进的动态知识。
EvoSkill-GUI框架
ZJU-REAL实验室提出了EvoSkill-GUI框架,这是一种无需训练即可实现技能进化的解决方案。每个技能被设计为一个结构化的多文件包,包含检索元数据、可执行计划、备份定位、故障恢复规则、可访问性工具和故障案例。EvoSkill-GUI通过以下机制运作:
- 反思(Reflect):执行器在执行过程中进行即时修订。
- 修订(Revise):一个独立的批评者通过严格的信息隔离机制诊断失败的轨迹。
- 重用(Reuse):执行器通过受限的工具接口编辑特定的技能文件。
实验结果
在MobileWorld、AndroidWorld和OSWorld三大GUI基准测试中,EvoSkill-GUI在无需任何训练的情况下,显著提升了多个基础模型的性能:
- MobileWorld:+16.2%
- AndroidWorld:+6.0%
- OSWorld:+10.5%
此外,进化后的技能库能够跨任务复用,持续为相关任务带来收益,而无需从头开始重建。
技术亮点
- 无需训练:通过动态调整技能库实现性能提升,降低了计算成本。
- 实时反馈机制:通过反思-修订-重用循环,智能体能够快速适应环境变化。
- 跨任务复用:技能库的可复用性提高了开发效率。
行业影响与开发者建议
EvoSkill-GUI为GUI智能体的开发提供了一种高效且灵活的解决方案,尤其适用于需要处理复杂动态界面的应用场景,如移动应用测试、自动化客服和智能家居系统。开发者可以参考该框架的设计理念,将动态反馈机制引入到自己的智能体开发中,以提升系统的适应性和鲁棒性。
结论
EvoSkill-GUI展示了无需训练即可实现技能进化的潜力,为GUI智能体领域带来了新的技术路径。未来,研究人员可以进一步探索如何将这种机制扩展到其他类型的智能体和更复杂的任务场景中。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-09-17)
主题标签: #GUI智能体 #技能进化 #动态反馈 #ZJU-REAL #EvoSkill-GUI
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区