ArXiv发布ASIL:革新智能体与软件交互方式
摘要:ArXiv发布了一项关于智能体与软件交互的研究,提出了Agent-Software Interaction Layer (ASIL),一种通过结构化JSON观察和可执行语义操作来替代传统截图点击的创新接口。ASIL通过深度访问路径实现对15种应用的适配,并在300个单应用任务和80个多应用任务中表现优异。与传统截图点击方法相比,ASIL在执行任务时效率更高,任务成功率显著提升。此外,ASIL还展示了其在训练小规模SFT和资源受限的在线RL中的潜力,为智能体与软件的高效交互提供了新的技术路径。
核心突破
ArXiv的研究团队提出了一种名为ASIL(Agent-Software Interaction Layer)的创新接口,旨在革新智能体与软件的交互方式。传统上,智能体通过截图和点击与软件进行交互,但这种方法存在状态信息不完整、GUI操作脆弱、语义表达弱以及难以适应长程规划等问题。ASIL通过以下方式解决了这些问题:
- 结构化JSON观察:将软件状态以结构化的JSON格式暴露给智能体,提供完整的状态信息。
- 可执行语义操作:定义可执行的语义操作,使智能体能够以更自然、更高效的方式与软件交互。
- 深度访问路径:通过应用的最深可行访问路径实现对软件的全面控制。
技术亮点
- 多应用适配:ASIL已成功适配15种应用,涵盖办公软件、绘图工具等多个领域。
- 任务执行效率:在300个单应用任务和80个多应用任务中,ASIL在执行任务时表现出色,平均每个任务只需执行不到五次操作。
- 训练潜力:ASIL的结构化模式非常适合训练,小规模SFT可以将Qwen3.5-2B的性能从58.0提升到72.1,Qwen3.5-9B的性能从66.6提升到80.4。资源受限的在线RL进一步将性能提升到74.4和82.2。
- 性能对比:与LibreOffice的UNO API相比,ASIL在严格成功点上高出28-38点,但仅与draw.io的MCP内容合同相当。
行业影响
ASIL的发布为智能体与软件交互领域带来了新的思路,特别是在需要高效、可靠和语义丰富的交互场景中具有重要意义。其结构化模式不仅提升了任务执行的效率,还为智能体的训练和优化提供了新的方法。此外,ASIL的开放性和可扩展性使其能够适应多种应用场景,为开发者提供了更灵活的工具选择。
开发者建议
- 探索应用场景:开发者可以尝试将ASIL应用于不同的软件交互场景,评估其性能和适用性。
- 优化训练策略:利用ASIL的结构化模式,优化智能体的训练策略,提升其在复杂任务中的表现。
- 关注后续发展:关注ASIL的后续更新和扩展功能,及时采用新技术以保持竞争力。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-27)
主题标签: #智能体 #人机交互 #AI架构 #ArXiv #深度学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区