智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #智能体 #人机交互 #AI架构 #ArXiv #深度学习

ArXiv发布ASIL:革新智能体与软件交互方式

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 2 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv发布了一项关于智能体与软件交互的研究,提出了Agent-Software Interaction Layer (ASIL),一种通过结构化JSON观察和可执行语义操作来替代传统截图点击的创新接口。ASIL通过深度访问路径实现对15种应用的适配,并在300个单应用任务和80个多应用任务中表现优异。与传统截图点击方法相比,ASIL在执行任务时效率更高,任务成功率显著提升。此外,ASIL还展示了其在训练小规模SFT和资源受限的在线RL中的潜力,为智能体与软件的高效交互提供了新的技术路径。


核心突破

ArXiv的研究团队提出了一种名为ASIL(Agent-Software Interaction Layer)的创新接口,旨在革新智能体与软件的交互方式。传统上,智能体通过截图和点击与软件进行交互,但这种方法存在状态信息不完整、GUI操作脆弱、语义表达弱以及难以适应长程规划等问题。ASIL通过以下方式解决了这些问题:

  • 结构化JSON观察:将软件状态以结构化的JSON格式暴露给智能体,提供完整的状态信息。
  • 可执行语义操作:定义可执行的语义操作,使智能体能够以更自然、更高效的方式与软件交互。
  • 深度访问路径:通过应用的最深可行访问路径实现对软件的全面控制。

技术亮点

  1. 多应用适配:ASIL已成功适配15种应用,涵盖办公软件、绘图工具等多个领域。
  2. 任务执行效率:在300个单应用任务和80个多应用任务中,ASIL在执行任务时表现出色,平均每个任务只需执行不到五次操作。
  3. 训练潜力:ASIL的结构化模式非常适合训练,小规模SFT可以将Qwen3.5-2B的性能从58.0提升到72.1,Qwen3.5-9B的性能从66.6提升到80.4。资源受限的在线RL进一步将性能提升到74.4和82.2。
  4. 性能对比:与LibreOffice的UNO API相比,ASIL在严格成功点上高出28-38点,但仅与draw.io的MCP内容合同相当。

行业影响

ASIL的发布为智能体与软件交互领域带来了新的思路,特别是在需要高效、可靠和语义丰富的交互场景中具有重要意义。其结构化模式不仅提升了任务执行的效率,还为智能体的训练和优化提供了新的方法。此外,ASIL的开放性和可扩展性使其能够适应多种应用场景,为开发者提供了更灵活的工具选择。

开发者建议

  • 探索应用场景:开发者可以尝试将ASIL应用于不同的软件交互场景,评估其性能和适用性。
  • 优化训练策略:利用ASIL的结构化模式,优化智能体的训练策略,提升其在复杂任务中的表现。
  • 关注后续发展:关注ASIL的后续更新和扩展功能,及时采用新技术以保持竞争力。

消息来源:ArXiv cs.AI (2026-08-27)

—— 完 ——

主题标签: #智能体 #人机交互 #AI架构 #ArXiv #深度学习

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…