智客 ZICQ
EN 登录 / 注册
智客信息 智能体 #FrontierHarness #编码智能体 #Agent评测 #推理成本 #失败归因

FrontierHarness Eval v1.1:64%推理支出落在失败任务

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 1 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:FrontierHarness Eval v1.1 对27,280次编码智能体运行的成本归因显示,64%的推理支出落在最终失败的任务上。这个数字是花费份额而非失败运行占比,不能解读为64%的任务失败;它更像一个成本尾部信号,说明失败轨迹可能因长上下文、反复工具调用和重试而显著更贵。文章据此把评估重点从总Token转向每个成功任务的成本、失败类型和“成功率—成本”Pareto前沿,并给出计费审计、统计检验与生产预算控制建议。


FrontierHarness Eval v1.1:64%推理支出落在失败任务

FrontierHarness Eval v1.1 对27,280次编码智能体运行进行成本归因,结论是:64%的推理支出花在最终失败的运行上。这个结果的价值不在于给出一个失败率,而在于暴露编码智能体的成本尾部——失败任务往往不是早早退出,而是在错误上下文中持续探索、调用工具和反复重试。

不过,64%是支出份额,不是失败运行占比,两者不能互换。当前公开摘要也没有列出任务集、模型与智能体框架版本、失败判定规则及价格口径,因此下述分析将其视为成本治理信号,而不是对具体模型优劣的排名。

核心读数:成本占比不等于失败率

设失败运行占比为 p_f,失败运行的平均推理成本为 c_f,成功运行的平均成本为 c_s,则观察到的失败支出份额满足:

0.64 = p_f × c_f ÷ [p_f × c_f + (1-p_f) × c_s]

由此得到:

c_f / c_s = 0.64 × (1-p_f) ÷ (0.36 × p_f)

这组关系说明,即使失败运行只占10%,要让失败任务吃掉64%的账单,其平均成本也必须达到成功任务的约16倍;若失败占比为20%和30%,对应成本倍数约为7.1倍和4.15倍。这些数字是条件推演,并非对实际失败率的估计,但它揭示了工程上真正值得追踪的指标:失败轨迹的长度尾部,而不是只统计任务成功率。

同时,27,280次运行并不等于27,280个独立观测。如果同一任务被多个模型、框架或随机种子重复执行,样本之间会高度相关,有效样本量更接近任务数及其难度分层,而不是运行总次数。

失败轨迹为何吞掉预算

一次轨迹的推理成本可拆为:

C_run = Σ_t [T_in,t × r_in,t + T_out,t × r_out,t]

其中 T_in,t 和 T_out,t 分别是第 t 步的输入、输出Token数,r_in,t 与 r_out,t 是对应有效单价。缓存读取、缓存写入、批处理和不同模型路由可能采用不同费率,因此只按原始Token数估算很容易偏离真实账单。

典型放大机制有四类:

  1. 错误锁定:模型早期误解需求或采用错误修复策略后,后续步骤持续建立在错误假设上。每轮工具反馈都可能触发重新推理,而不是一次局部修正。
  2. 上下文膨胀:轨迹不断把源码、报错和工具输出重新送入模型。如果第 t 轮上下文长度随轮数线性增长,且没有有效前缀缓存,累计输入Token量可能呈 O(T²) 增长;即使缓存降低新写入成本,缓存读取和长上下文推理开销仍然存在。
  3. 验证与重试循环:测试失败后反复修改、重复执行同一测试,或在多个候选补丁之间摇摆,都会拉长轨迹。失败的终态越晚,单次失败越昂贵。
  4. 评测噪声:环境安装、工具超时、验证器误判等基础设施问题可能被记成模型失败。若不区分任务失败、代理失败、基础设施失败和验证器失败,64%便无法直接转化为可执行的模型优化目标。

基准可信度需要审计什么

公开摘要目前只给出了运行数和支出比例。复核该评测时,至少应检查以下口径:

  • 任务选择:任务是否来自真实仓库、是否按难度分层、是否存在训练污染或重复模板。大量同质任务会夸大统计显著性。
  • 代理配置:模型版本、系统提示、工具集合、最大轮数、上下文压缩策略和并行工具调用是否一致。模型与智能体脚手架必须分别归因,否则无法判断成本来自模型推理还是Agent循环设计。
  • 失败定义:编译错误、测试失败、生成无效补丁、任务理解错误、超时和基础设施异常应分别编码;验证器自身的假阳性与假阴性也应抽样复核。
  • 重试政策:应同时报告单次成功率、允许重试后的任务解决率,以及每次尝试和每个唯一成功任务的成本。否则,增加重试可以抬高成功率,却也可能进一步集中失败支出。
  • 价格口径:推理成本需要绑定计价日期、模型版本、输入输出单价、缓存折扣和区域价格。用当前价格回算历史运行会产生口径漂移。
  • 统计单位:置信区间应按任务聚类,并使用配对Bootstrap比较同一任务上的模型与框架差异。把27,280次运行直接视为独立同分布样本会低估方差。
  • 成功任务分母:若一个任务被多个配置重复运行,报告成本时应按唯一任务去重,否则会重复计算同一问题的解决成本。

从总花费转向每个成功任务的成本

生产系统不宜只追踪总Token或单次运行成本。更稳定的指标是:

CostPerSuccess = 总推理支出 ÷ 唯一成功任务数

FailedSpendShare = 失败运行推理支出 ÷ 总推理支出

前者衡量系统交付一个可验证修复的真实代价,后者定位预算泄漏。评测结果还应同时给出成功率、pass@1 与 pass@k、P50/P95 Token数、P50/P95墙钟时间以及每类失败的成本贡献。原始价格适合核算账单,但跨模型比较时还应提供按任务成功率加权的质量—成本Pareto前沿,避免低价模型因大量失败而显得“更省”。

开发者落地建议

  1. 建立逐事件成本账本:至少记录 task_id、run_id、模型与框架版本、输入Token、缓存Token、输出Token、工具耗时、重试序号、终止原因和失败类别。只记录最终任务成本无法定位浪费发生在哪一步。
  2. 设置分级预算闸门:在探索、代码修改和验证阶段分别限制Token、工具调用次数与墙钟时间。连续出现相同错误、补丁无实质变化或测试结果不再更新时,应停止当前轨迹并升级处理。
  3. 按失败类型选择干预:编译错误可优先交给低成本修复模型,逻辑错误再升级到强模型;环境或依赖问题应进入独立重试队列,不能与模型推理失败混算。
  4. 压缩状态而非盲目截断日志:保留结构化任务状态、已尝试补丁和关键错误证据,删除重复工具输出。直接裁剪历史可能丢失失败原因,并让后续重试更无效。
  5. 谨慎使用缓存与模型路由:前缀缓存能降低重复上下文成本,但旧错误也会被稳定复用;廉价模型适合初筛和机械修复,复杂规划与最终验证则可能需要更强模型。路由规则必须在同一任务集上验证,避免只挑选容易成功的样本。
  6. 不要只靠更低的Token上限降本:硬截断会缩短失败轨迹,也会把本可解决的问题提前判为失败。应同时报告成功率变化和成本变化,并以唯一成功任务成本作为优化目标。

结论

64%失败支出的真正信号是:编码智能体的主要成本可能并非发生在成功轨迹的正常复杂度区间,而是集中在无法及时止损的失败尾部。要把这一发现转化为生产收益,必须补齐失败分类、价格口径和任务级统计,并以每个成功任务的成本检验模型路由、验证器、上下文管理和预算控制策略。


消息来源:Hacker News AI Feed (2026-11-17)

—— 完 ——

主题标签: #FrontierHarness #编码智能体 #Agent评测 #推理成本 #失败归因

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…