智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #Speculative Macro Commit #LLM智能体 #延迟优化 #智能体架构

arXiv发布Speculative Macro Commit:提升智能体执行效率的新机制

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv近日发布了一项名为Speculative Macro Commit (SMC) 的新研究,旨在解决LLM智能体在执行任务时面临的延迟问题。该机制通过引入两层智能体系统——一个权威的执行模型和一个更快的预测模型——实现了对多步操作的预执行和快速提交。实验结果表明,SMC在多个基准测试中显著降低了任务延迟,同时保持了与顺序执行相近的准确性。这一创新为智能体在复杂任务场景中的应用提供了新的优化路径,尤其在需要高效决策和快速响应的领域具有重要价值。


背景与动机

在基于大语言模型(LLM)的智能体应用中,智能体不仅需要执行模型推理,还需处理一系列顺序的动作-观察循环。每个工具调用、环境转换和观察结果都可能延迟后续决策,导致整体执行效率低下。

Speculative Macro Commit (SMC) 机制

SMC引入了一种两层智能体系统:

  • 权威执行模型:负责生成正式的执行轨迹。
  • 预测模型:更快地预测并预执行未来的动作链。

SMC通过从训练轨迹中挖掘重复的多步动作骨架,并将其存储在宏库中。在运行时,预测模型生成的动作链与宏库中的宏进行匹配。当权威模型的下一个工具调用与预测模型的首个动作匹配时,SMC会将预执行的动作步骤及其观察结果提交到正式轨迹中。

实验结果

  • 在 $\tau^2$-Bench Telecom 子集上,SMC相较于顺序执行降低了18.59%的延迟,相较于Speculative Actions (SA) 基准降低了10.23%的延迟。
  • 在AppWorld上,SMC相较于SA基准降低了7.7%的墙钟时间,相较于顺序执行降低了44.9%的墙钟时间,尽管任务完成率略有下降。

技术亮点

  • 多步预执行:通过预执行多步操作,SMC能够显著减少智能体的整体延迟。
  • 宏库匹配:利用宏库进行动作链匹配,确保预执行动作的准确性和有效性。
  • 两层智能体系统:结合权威模型和预测模型的优点,实现了高效且准确的执行。

行业影响与开发者建议

SMC为智能体在复杂任务场景中的应用提供了新的优化路径,尤其在需要高效决策和快速响应的领域具有重要价值。开发者可以参考以下建议:

  • 优化智能体架构:考虑引入两层智能体系统以提升执行效率。
  • 利用宏库:通过宏库存储和匹配多步动作骨架,进一步优化智能体性能。
  • 关注延迟与准确性平衡:在设计智能体系统时,需权衡延迟降低与任务完成准确性之间的关系。

消息来源:ArXiv AI (cs.AI) (2026-09-05)

—— 完 ——

主题标签: #Speculative Macro Commit #LLM智能体 #延迟优化 #智能体架构

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…