智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #SARA #LLM #工具增强 #AI安全 #智能体

ArXiv提出SARA框架:分离工具增强型LLM智能体的动作诱导与执行授权

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv发布了一项关于工具增强型大语言模型(LLM)智能体的研究,提出了一种名为SARA的新框架,用于分离动作诱导与执行授权。SARA通过上下文隔离的动作探测器和执行授权机制,有效降低了工具输出引发非预期现实世界副作用的风险,同时在多个基准测试中显著降低了动作误触发率(ASR),并保持了任务性能。


研究背景与挑战

在工具增强型大语言模型(LLM)智能体中,工具输出不仅提供数据,还可能指定具体动作,从而引发超出用户意图的现实世界副作用。这种风险源于动作诱导与执行授权的混淆。

SARA框架的核心机制

SARA框架通过以下方式解决上述问题:

  • 动作诱导与执行授权分离:将动作诱导和执行授权视为不同的运行时角色。
  • 上下文隔离的动作探测器:暴露动作诱导的语义,并记录动作起源,为后续审查提供信号。
  • 执行授权机制:仅在用户目标和授权成功执行的审计证据下授权实际工具调用,同时满足目标、执行链和参数级支持。
  • 无历史提升(No-History-Promotion):防止历史重复将动作起源混入执行授权,确保多步骤执行中的分离性。

实验结果

在AgentDojo和AgentDyn等多个基准测试中,SARA将ASR限制在0.63%以下,同时保持了任务性能,并在不同智能体架构中持续降低ASR。

技术亮点

  1. 分离动作诱导与执行授权:通过明确区分两个过程,降低了非预期副作用的风险。
  2. 上下文隔离的动作探测器:提供对动作诱导语义的细粒度控制。
  3. 执行授权机制:确保工具调用符合用户目标和成功执行的审计证据。
  4. 无历史提升策略:防止历史重复影响执行授权,增强了系统的安全性和可靠性。

行业影响与开发者建议

SARA框架为工具增强型LLM智能体的安全性和可控性提供了新的解决方案,尤其适用于需要高可靠性和低风险的领域,如医疗、金融和关键基础设施。开发者可以参考SARA的设计理念,在智能体开发中引入类似的分离机制,以提升系统的安全性和鲁棒性。


消息来源:ArXiv cs.AI (2026-08-27)

—— 完 ——

主题标签: #SARA #LLM #工具增强 #AI安全 #智能体

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…