编码智能体解完题却不收手:终止滞后占35%至60%步骤
摘要:论文《Termination Lag》系统测量编码智能体从首次生成正确补丁到任务结束之间的“终止滞后”。研究覆盖5个模型、2种智能体框架和3个SWE-bench数据集,并逐一记录、测试运行中产生的不同仓库补丁。结果显示,38%—82%的成功任务在首次源码编辑时已解出;但Qwen3-Coder在成功运行中仍有35%—37%的步骤发生在解出之后,Laguna-XS.2为54%—60%。多数额外步骤用于验证与继续探索,另有1%—8%的案例因此撤销正确补丁。该工作揭示了只以最终正确率和总Token衡量智能体的盲区,并为停止策略、检查点保护和回归防护提供直接工程依据。
首次正确补丁之后,编码智能体仍在工作
《Termination Lag》把编码智能体的一个常被忽略的运行指标单独量化:智能体第一次产出可通过正确性测试的补丁后,仍继续执行了多少步。论文覆盖5个模型、2种智能体框架和3个SWE-bench数据集;与只检查最终提交不同,它记录并测试运行期间每个不同的仓库补丁,从而还原“何时解出”与“何时停止”之间的时间差。
终止滞后如何测量
对一次智能体运行,可以定义:
T_first_correct:首次出现通过论文正确性判定的仓库补丁;T_end:智能体框架判定任务结束的时刻;T_lag = T_end - T_first_correct:终止滞后步数。
论文还把解出后的步骤数换算为整次运行中的占比。与只评估最终提交相比,逐个复测不同补丁有两个优势:一是能够识别智能体究竟在第几步解出任务;二是能发现“中途已经正确、最终却错误”的轨迹回归,而这种失败会被传统的最终提交评分完全掩盖。
需要注意的是,论文中的“步”是智能体框架的执行单位,可能包含模型推理、工具调用或一次迭代。摘要没有说明两个框架如何统一计数,因此跨框架的步数更适合用于识别趋势,不宜直接换算为Token、GPU秒或真实成本。
关键实测结果
| 观察项 | 论文结果 | 统计口径 | |---|---:|---| | 成功运行在首次源码编辑时已解出 | 38%—82% | 跨模型、框架和数据集的成功运行 | | Qwen3-Coder解出后的步骤占比 | 中位数35%—37% | SWE-bench Verified与Multilingual成功运行 | | Laguna-XS.2解出后的步骤占比 | 中位数54%—60% | SWE-bench Verified与Multilingual成功运行 | | 继续行动导致先前正确补丁被撤销 | 1%—8% | 论文报告的相关案例 |
这些数字不能混读。首先,38%—82%不是任务成功率,而是成功运行中“首次源码编辑即正确”的比例。其次,35%—60%的中位数以成功运行为条件,可能存在幸存者偏差:从未解出任务的失败轨迹被排除在统计之外。摘要也没有交代1%—8%的具体分母,因此更稳妥的理解是:继续执行并非只有成本问题,它还在一个不可忽略的少数案例中破坏了已有结果。
Laguna-XS.2更高的解后步骤占比也不能直接归因于底座模型本身。模型、智能体框架、提示词、工具权限和停止策略可能共同决定轨迹长度;若实验没有完整的模型与框架交叉消融,就无法分离框架效应和模型效应。
为什么智能体解出后仍不停止
摘要显示,额外步骤主要花在验证工作和继续探索仓库。放到典型编码智能体循环中,这对应一条常见路径:读取仓库、生成差异、应用补丁、运行测试、解释结果,然后再次读取或修改代码。即使测试已经通过,智能体通常也无法从当前上下文证明“已经没有更有价值的修改”。
1. 验证器只提供有限证据
SWE-bench测试和仓库测试可以发现显式回归,却未必覆盖隐藏需求、边界条件、类型契约或维护性要求。智能体看到测试失败时容易继续修改;即使测试通过,也可能因担心遗漏而重复检查。验证因此可能形成没有明确终点的循环。
2. 停止策略通常面向失败,而非成功
不少框架把停止条件写在“没有新进展”“连续尝试失败”或“预算耗尽”之后,却没有单独识别“已获得一个通过验收的候选补丁”。在这种设计下,智能体即使完成任务,也会继续探索替代实现、扩大重构范围或重复执行相同检查。
3. 后续编辑会覆盖正确状态
模型上下文可能仍保留第一次修复前的错误假设,后续探索也可能引入无关重构。于是原本正确的文件被覆盖,测试套件再次失败。论文报告的1%—8%回退表明,终止滞后不仅是成本浪费,也是轨迹稳定性和最终正确率的直接风险因子。
4. 正确后的探索并非完全无价值
过早停止同样有代价。可见测试通过不代表补丁在隐藏测试或真实工程约束下一定成立。关键不是机械地在第一次绿灯时退出,而是区分低成本、高信号的验收检查与无边界探索。
工程成本与方案权衡
解后步骤通常会消耗LLM推理Token、代码搜索、容器或构建资源、测试CI时间,并持续扩张上下文。步骤占比不能直接等同于费用占比:一次模型调用可能比一次本地单元测试昂贵得多,也可能相反。
更棘手的是正确率与成本存在冲突。立即停止可以节省35%—60%的解后步骤,并避免部分回退;过早停止却可能漏掉隐藏缺陷。更合理的优化目标不是“看到第一次通过就停”,而是寻找验证收益的拐点:在关键回归测试、静态检查和必要边界用例通过后停止非受控探索。
如果系统同时优化最终正确率和运行成本,可以把业务目标近似写成 U = P(final_correct) - λ × post_solution_cost - μ × regression_risk。其中,λ控制解后步骤的价格,μ控制错误覆盖的代价;实际阈值应由任务风险和CI成本标定,而不是对所有仓库使用统一预算。
评测设计与客观性
这项研究最有价值的部分是逐补丁记录与复测。它把智能体轨迹视为可重放的时间序列,而不是只保留最后一个答案,因而能够区分“首次正确时间”“最终正确状态”和“解后活动”。跨5个模型、2种框架和3个SWE-bench数据集的覆盖也比单模型案例更具参考性。
不过,摘要中的证据仍有明显边界:
- 正确性依赖测试判定器,隐藏测试缺失、测试不稳定或测试覆盖不足都可能改变“首次正确”的时间;
- 核心中位数只针对成功运行,不能直接描述失败任务是否也存在更严重的终止滞后;
- 中位数掩盖长尾,真正昂贵的运行可能远高于35%—60%;
- 摘要未给出样本量、置信区间、显著性检验、绝对任务成功率、Token消耗和墙钟时间;
- 第三个SWE-bench数据集名称、完整模型名单及模型与框架的交叉设计未披露;
- 代码、复现环境和逐补丁日志是否公开也未说明。
因此,论文更可靠地证明了“解后活动普遍存在且可能有害”,但尚不能直接给出某种停止策略能节省多少成本、又损失多少成功率。
开发者落地与部署建议
1. 把解后开销拆成独立指标
除最终解决率和总Token外,至少记录首次正确补丁时间、终止滞后步数与占比、解后Token、测试调用次数、墙钟时间、补丁回退率,以及每次运行因何停止。只看最终正确率无法区分“很快解出”和“绕很久才解出”。
2. 保护最后一次已知正确状态
每次候选补丁通过验收后,都应保存独立检查点或Git引用。后续实验在隔离分支中进行;一旦检测到回归,系统可以自动恢复最后正确提交,而不是依赖模型自行撤销修改。
3. 使用分层停止条件
可把第一次正确补丁视为进入受限验证阶段的触发器,而不是立即退出的信号。验证阶段设置独立的探索预算、最大改动范围和重复测试上限;预算耗尽且高信号检查持续通过时,再触发正常终止。
4. 将生成器与验收器隔离
用于判定的测试、静态分析和回归套件不应由同一生成上下文随意修改。智能体可以读取失败信息,但不应为了“让测试通过”而删除断言或降低测试阈值。生产系统还应把可见测试与隐藏验收区分开。
5. 以回放数据校准停止策略
利用逐补丁日志回放不同停止阈值,比较最终正确率、解后成本和回退率。对高风险代码仓库,可以要求多次独立验证或人工合并;对低风险、可快速回滚的任务,则可采用更激进的早停策略。
结论
《Termination Lag》说明,编码智能体的效率问题不只发生在“解不出来”的失败轨迹中。即使任务已经通过测试,智能体仍可能把三分之一到接近六成的步骤用于解后活动,并在少数情况下破坏正确答案。真正需要优化的不是单纯追求更早写出补丁,而是识别证据何时充分、工作何时应停止,并把首次正确状态变成可保护、可回滚的工程检查点。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-11)
主题标签: #编码智能体 #SWE-bench #终止滞后 #智能体停止策略 #Qwen3-Coder
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区