智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #TokenEconomizer #编码智能体 #Token优化 #开源插件 #智能体记忆

TokenEconomizer开源:编码智能体复用经验降低Token成本

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:微软研究院联合UC Berkeley与Microsoft Security开源TokenEconomizer,以插件形式在不改代理和底层模型的前提下复用同一仓库的历史经验。系统从会话日志提炼微技能、裁剪低频工具,并在重复失败时引入裁判模型与人工升级机制。277个SWE-Bench任务中,平均单任务成本下降18.4%至30.9%,所有30个“仓库—代理组合”均节省;Web-Bench与安全审计也分别下降16.0%至21.2%和6.4%至19.6%。其价值在于把编码智能体降本从单次提示优化转向持续经验闭环,但冷启动、时延、绝对成本与置信区间仍待完整评测。


核心事实:把仓库历史变成控制信号

TokenEconomizer是微软研究院、Microsoft Security与UC Berkeley联合推出的开源黑盒成本控制插件。它不修改编码智能体的提示模板、工具协议或底层模型权重,而是在既有代理外部增加一个仓库级控制器:每次会话结束后读取执行日志,把可复用经验压缩为后续会话能调用的上下文、工具配置和失败干预策略。

这类设计的关键不是让模型变得更聪明,而是改变模型每轮看到的上下文以及代理行动序列。插件只使用智能体已经暴露的接口,不需要单独修改模型,也不需要自己的API密钥;官方称其学习状态保存在开发者本机。

为什么单任务提示优化不够

编码智能体的一个回合可能同时携带系统指令、工具描述、历史消息和工具返回结果。若用简化公式表示第 t 轮的输入规模,可写为:

C_in ≈ Σ_t (I_t + D_t + H_t + R_t)

其中 I_t 是指令,D_t 是工具schema,H_t 是会话历史,R_t 是工具输出。该公式不包含输出Token、推理服务定价和工具执行时间,但足以解释为什么少量重复操作会形成持续成本:某个工具描述只要在每一轮都被加载,就会反复占用上下文;若模型随后在多个回合中重复探索同一事实,历史长度和输出Token还会同步膨胀。

微软团队先在60个SWE-Bench任务上分析Claude Code。一个仓库累计完成至少5个任务后,30%的工具调用会重复该仓库早先执行过的动作,而与其他仓库历史匹配的动作仅占7%。每轮代理都会收到23个工具描述,其中16个从未被调用。失败任务只占17%,却消耗了32%的总支出。

这组数据说明,成本浪费至少有三类来源:重复发现仓库事实、加载无关工具,以及在同一种失败上持续空转。TokenEconomizer分别对应设置了三个控制点。

三层控制机制

微技能:把重复探索压缩成一行记忆

微技能机制从多次会话日志中识别重复出现的仓库规律,将其提炼为一行说明,并在后续会话启动时注入初始上下文。只有当若干次会话共同支持某一模式后,候选技能才会生效;如果后续证据与之矛盾,系统会撤销该技能。

从工程角度看,这是外置的仓库级情景记忆,而不是模型参数更新。它的优势是修改成本低、可审计,并能随仓库变化修订;代价是过时经验可能成为新的错误来源。尤其在依赖升级、目录迁移或测试框架更换后,旧的构建命令和路径提示需要尽快失效。

工具裁剪:减少每轮上下文,也约束动作空间

工具裁剪根据仓库历史估计不同工具在该代码库中的使用概率,移除低概率工具,同时保留执行命令和编辑文件等核心工具。被裁掉的工具仍可恢复,因此它更接近可逆的上下文路由,而不是永久修改智能体能力。

这项机制可能同时影响计费Token、首段生成时延和工具选择分布:工具schema更短可减少预填充负担,较小的动作空间也可能降低无关探索。但如果历史样本不足,系统可能误删低频但关键的能力,例如发布脚本、数据库迁移工具或安全审计命令。因此,生产部署应给核心工具设置保护名单,并记录每次裁剪与恢复事件。

失败循环干预:让裁判模型决定是否打断

当代理反复触发同一失败时,TokenEconomizer调用裁判模型判断它是真的陷入循环,还是仍在取得有效进展。若判定为卡死,系统会注入一条简短的替代策略提示;开源版本在追加提示后仍无法脱困时,会通知开发者,而不会直接终止任务。

这实际上构成一个分层控制环:底层代理负责执行,裁判模型负责判断,上层提示负责纠偏。它比固定次数重试更灵活,但会引入额外模型调用、首Token时延和误判风险。过早干预可能打断有效的长程探索,漏判则会保留原先的失败开销。官方表示,最终报告的节省数字已经计入TokenEconomizer自身模型调用的成本,但没有披露这些调用在总时延中的占比。

实测表现与评测边界

团队在来自6个仓库的277个SWE-Bench任务上测试了5种智能体与模型组合,共构成30个“仓库—组合”配对。TokenEconomizer报告平均单任务成本下降18.4%至30.9%,并在全部30个配对中取得节省;5种组合中有4种的Pass@1上升,其余组合总体保持稳定。作为对照,单纯降低模型的推理强度有时能获得相当或更高的节省,却导致任务成功率明显下降。

系统也存在冷启动成本:最初几次会话需要积累日志、验证模式并学习工具分布。Claude Code实验中,各仓库的累计成本到第6个任务时都低于默认配置,说明持续复用场景存在正向学习曲线。外部任务上的收益较小但仍为正,顺序式Web开发任务在Web-Bench上节省16.0%至21.2%,安全审计任务节省6.4%至19.6%;后者每个任务位于新仓库,收益主要不能依赖跨任务记忆。

这些结果仍需谨慎解读。首先,数据来自项目团队,而非独立复现;公开博客没有给出绝对Token量、美元成本、端到端时延、精确Pass@1、置信区间、完整模型清单及不同价格档位的敏感性分析。其次,同仓库顺序执行任务贴近开发者反复工作的真实场景,但也可能奖励跨任务熟悉度,收益与任务顺序、仓库规模及任务间相关性仍难完全拆分。277个任务足以支持方向性结论,却不足以证明所有编码代理、语言和代码库都能获得同等降幅。

工程权衡:节省Token不等于免费获得收益

  • 吞吐与时延:裁剪工具schema通常能缩短每轮输入,但失败循环裁判会增加一次或多次模型调用。对于低延迟交互,净时延是否改善取决于预填充节省能否覆盖裁判开销,而不仅是Token账单变化。
  • 知识新鲜度:微技能和工具概率会随仓库演化失效。系统必须支持证据撤销、技能过期和历史重放,否则“记住过去”可能变成持续传播错误。
  • 黑盒兼容性:插件不依赖特定模型权重,适合跨代理接入,但只能看到日志和工具接口,无法像白盒方法那样直接分析注意力或内部状态。
  • 隐私与安全:学习数据留在本机并不自动等于安全。会话日志可能包含源码、密钥、漏洞详情和用户数据,需要脱敏、访问控制、加密与保留周期。
  • 审计与回退:工具裁剪会改变代理可执行的动作集合,安全审计、权限管理和回滚工具不应仅凭历史频率决定是否移除。
  • 计费与缓存交互:若服务商对稳定提示前缀提供缓存,未缓存部分的Token节省未必等比例转化为费用下降;工具裁剪仍可能改善预填充时延和上下文利用率,因此应分别统计原始Token、缓存读写Token和实际费用。

开发者落地建议

  1. 先建立可复现基线:记录输入、输出、缓存Token、工具调用次数、总时延、首Token时延和任务通过率,并按仓库分别统计,不能只看跨任务平均值。
  2. 采用影子模式与灰度上线:先让TokenEconomizer生成建议但不下发裁剪或干预,比较实际决策与默认智能体行为,再逐步开放自动控制。
  3. 单独评估冷启动:至少覆盖新仓库、持续复用仓库、依赖升级和工具频繁变更四类场景,确认第6个任务附近的成本拐点是否稳定。
  4. 保护关键工具:为命令执行、文件编辑、版本控制、测试、安全审计和回滚设置强制保留名单,同时保留工具恢复接口与完整操作日志。
  5. 治理历史记忆:对微技能设置来源、确认次数、最后验证时间和失效条件;仓库结构或依赖发生变化时主动清理相关知识。
  6. 组合但不要重复归因:可与提示缓存、模型路由和自适应推理强度共同部署,但评测时应通过消融实验拆分各自贡献,避免把缓存收益重复计入TokenEconomizer。

TokenEconomizer的核心贡献不是提出新的编码模型,而是证明黑盒代理可以利用仓库历史,在不训练权重、不替换模型的前提下逐步改善资源分配。它尤其适合长期维护同一代码库的团队;但对一次性任务、极少重复使用的仓库或工具变化极快的项目,收益可能不足以覆盖学习与控制开销。


消息来源:Microsoft Research AI (2026-11-16)

—— 完 ——

主题标签: #TokenEconomizer #编码智能体 #Token优化 #开源插件 #智能体记忆

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…