智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #智能体编码 #软件热力学 #Token成本 #Agent评测

智能体编程的“无效Token”:软件热力学揭示八成成本为热

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv论文《Where the Tokens Go: Heat, Entropy and Error in Agentic Coding》把编码智能体的Token消耗重写为一套可测量的“软件热力学”。研究让智能体在固定参考树上反复改码与撤销,以测试套件充当软件麦克斯韦妖,并把生成Token拆为有效功与热。摘要报告:成功任务约80%的Token落在未改变目标状态的调用中;类比Jarzynski等式估计的自由能为成功运行平均成本的14%—22%,编码成本则是撤销的1.1—1.5倍。该框架可用于轨迹级成本诊断,但仍受测试套件、环境漂移、采样设置与任务分布影响,尚需代码、样本量及独立复现支撑。


论文的核心不是把Token宣称为物理能量,而是给编码智能体建立一套状态依赖、可从调用轨迹计算的成本账本。作者用经典热力学与随机热力学解释智能体为何会花费大量调用,却没有推动代码状态向目标变化,并提出测试套件充当“软件麦克斯韦妖”:它观察补丁并判断改动是否有效。

Token账单不等于交付的软件价值

按论文的操作性定义,智能体成本可以写成 C = W + Q:所有生成Token构成总成本 C,推动目标改动并被测试接受的Token构成有效功 W,而调用结束后未改变目标状态的Token构成热 Q。摘要给出的核心结果是:一次成功运行中,约80%的Token出现在没有改变目标状态的模型调用里。

这里的“热”是状态变化意义上的低效,而不是对文本质量的判决。推理、检索代码、选择工具、生成解释、失败后重试和运行测试,都可能发生在没有留下仓库差异的调用中;其中部分步骤虽未直接改码,却可能为后续有效补丁提供必要上下文。反过来,一次输出大量Token、最终只产生小幅diff的调用,也可能被粗粒度地归入低效区间。

论文的数据归因依赖调用结束时的仓库状态。如果一个调用同时包含探索、工具调用和补丁生成,其全部输出Token可能被整体计入heat,显示“80%”时必须同时理解其统计粒度。

固定参考树上的编码—撤销循环

实验借鉴了“拉伸分子后再让其折叠”的实验:智能体先对代码仓库实施请求的修改,再撤销该修改;两个方向都从保存的参考树开始,因此循环的起止状态固定,可以隔离不同生成路径的成本。每一次模型调用产生的Token都被累计,重复循环的成本分布则被用来定义操作性的“软件温度”。

作者观察到,模型采样温度越高,软件温度也越高。这里的两个温度不能混为一谈:模型采样温度是生成策略的控制参数,软件温度则是循环成本离散程度的代理量。二者相关并不意味着二者等价,也不能单凭该结果断言低采样温度在所有代码任务上都会更优。对于开放式设计、缺陷定位或需要多条探索路径的任务,过低的随机性可能损害方案多样性。

固定参考树是实验设计中的关键控制变量:它减少了前一周期遗留状态造成的路径漂移,使编码与撤销成本更可比较。不过,这也意味着结论首先适用于可逆、边界清晰且能自动验证的修改任务,不能直接外推到一次性迁移、重构或缺乏可靠回滚点的长程任务。

从功、热到自由能

论文借助Jarzynski等式,通过多次循环中耗散成本的统计分布估计一次改动的自由能。该等式常见形式为 ΔF = −k_B T ln⟨exp(−ΔE/k_BT)⟩;在软件类比中,生成Token可充当离散化的做功单位,跨循环成本分布则用于估计净有用贡献。作者报告,改动自由能约相当于成功编码运行平均成本的14%—22%。

这个数字与“约80%为热”不能简单相加为100%。两者来自不同的操作性估计:heat按调用是否改变目标状态划分,自由能则来自类比Jarzynski公式的统计推断。自由能也不等同于业务价值,因为通过测试的补丁仍可能包含冗余实现、潜在维护成本或未覆盖的边界条件。

更关键的是,Token并非焦耳,软件温度也不是开尔文。该框架的价值在于提供统一的轨迹审计语言,而非把软件运行建立在一套新的物理定律上。摘要没有给出自由能估计器的精确定义、每个状态的采样次数、收敛诊断或不确定性区间,因此14%—22%目前只能视为论文设置下的经验结果。

测试套件既是裁判,也是误差源

测试套件扮演麦克斯韦妖,但它并不是完美观察者。测试结果会随操作系统、依赖版本、环境变量、并发状态和测试隔离方式变化;同一补丁在不同环境中可能得到不同结论。论文因此把环境相关的判定差异视为测量噪声,而不只是普通的测试不稳定性。

更危险的路径是测试套件接受了一个存在缺陷的改动。此时错误没有在当前周期暴露,却会作为隐藏状态进入后续生成、审查和维护流程,并可能持续消耗Token。工程上应将测试oracle与生成模型尽量隔离,防止同一模型同时编写实现并定义验收标准。

论文还报告,编码成本是撤销成本的1.1—1.5倍。这种不对称性符合直觉:构造满足约束的补丁通常比删除或恢复已有代码更难。不过,撤销成本较低也可能只是因为撤销任务具有更明确的目标和更强的先验结构,不能直接推导所有仓库中的“反向任务”都更容易。

评测结论仍缺哪些关键证据

现有摘要没有披露受测模型、代码仓库、任务难度、测试套件规模、采样温度档位、每组重复循环次数、Tokenizer差异及置信区间。论文成本只统计智能体生成的Token,而生产计费还可能包括输入Token、缓存读写、工具执行和编排开销,因此80%不能直接解释为账单可节省80%。

Jarzynski式估计还依赖足够多的独立循环及其收敛性。失败轨迹、罕见但昂贵的修复以及长尾工具错误可能显著改变偏置;若循环共享同一模型、仓库或测试环境,有效样本数也会低于表面上的调用次数。

此外,测试覆盖不足会让模型通过错误补丁换取表面上的高“功”,形成对测试oracle的过拟合。标题中的“熵”与“错误”在摘要里也没有被拆成独立、可直接比较的量化指标。因而,这项工作目前提出的是一套有潜力的分析框架,而不是已经验证的压缩、路由或训练算法。

开发者可如何落地

  1. 建立调用级追踪。 记录每个模型调用的输入与输出Token、采样温度、工具调用、耗时、调用前后仓库树哈希、diff大小及测试结论。只有把Token与状态变化关联起来,才能计算heat,而不是只看总账单。
  2. 定义可审计的功。 同时使用diff语义、测试通过率、静态检查、代码审查结果和回滚状态判定贡献;不要把单个测试套件的二元结论直接当成完整业务价值。
  3. 上线核心指标。 跟踪有效Token占比、heat占比、每个被接受补丁的成本、编码与撤销成本比、跨重复运行的成本方差,以及相同提示下的状态无变化率。
  4. 先做受控回放。 在固定模型、任务、采样参数和容器环境中重复编码—撤销循环,验证软件温度是否稳定,并跨仓库、模型和测试环境复测。
  5. 按任务调整随机性。 对格式迁移、机械修复等确定性任务降低采样温度并启用确定性解码;对架构设计、疑难定位等探索型任务保留多条候选路径,避免为压缩Token牺牲方案质量。
  6. 强化验收环境。 使用固定依赖、随机种子、容器或虚拟机、隔离测试数据及独立oracle;对高风险改动增加属性测试、变异测试和人工审查,避免错误被“热”概念掩盖。

研究意义

这项工作最实用的贡献,是把编码智能体的成本分析从“总共用了多少Token”推进到“哪些调用真正改变了可验证的软件状态”。它提供了一个统一框架,用于比较模型、采样策略、提示设计和测试工具链。但要把它从分析理论升级为可靠的优化目标,还必须补齐模型与任务覆盖、估计器细节、跨环境复现和线上对照实验。


消息来源:ArXiv AI (cs.AI) (2026-11-19)

—— 完 ——

主题标签: #智能体编码 #软件热力学 #Token成本 #Agent评测

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…