智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #智能体自我改进 #Harness优化 #持续记忆 #跨基准泛化 #智能体评测

SIM以优化记忆续接智能体脚手架,编码任务均分提升2.36分

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:论文提出面向持续递归自我改进(CRSI)的自改进记忆(SIM):它把记忆挂在harness优化器一侧,而非任务求解策略内部,按重复问题归组编辑历史,并记录修改理由、预测结果、实际结果及评测上下文。跨四个领域,以及跨数据集和跨模型的配对续接实验中,SIM的最终得分高于仅继承harness和仅继承根因的方案。编码任务的10次独立源运行里,配对续接平均提高2.36分(p=0.003)。这项工作把一次性harness调优改造成可追踪的持续实验流程,但绝对分数、记忆检索细节、成本与代码状态仍待核验。


核心定位

这项工作研究的不是基础模型如何更新权重,而是 harness 优化器如何续接。当评测基准或承载任务的策略模型改变时,只保留最终演化后的 harness,会丢失此前为何修改、修改后表现如何等证据。论文把这一场景称为 Continual Recursive Self-Improvement(CRSI),并提出 Self-Improvement Memory(SIM)。

按摘要语境,harness 是包围任务求解策略的可演化执行框架,可能涉及提示、工具编排、验证与重试等环节;论文摘要没有列出具体组件。SIM 的关键边界是:记忆属于优化器一侧,而不是直接塞进被评测策略的提示或上下文。

技术机制剖析

摘要披露的记忆状态可以抽象为:

M_t = {e_1, e_2, ..., e_n}

其中每条编辑记录 e_i 至少包含四类信息:

  • 问题分组:按反复出现的 harness 问题归组,使历史经验能够围绕同类故障检索,而不是只按时间堆叠。
  • 修改理由:记录为什么进行某次编辑,保留优化决策的因果线索。
  • 预测与实际结果:分别保存修改前后的预期效果和观测效果,使同类方案后续可以校正,而非反复试错。
  • 评测上下文:保存基准、策略模型及相应评测条件,用于判断旧经验是否仍适用于当前环境。

新优化尝试会继续扩展这份历史,因此 SIM 更接近一个面向 harness 优化的程序性记忆,而不是一次性的示例选择器。论文摘要没有披露问题分组采用规则、向量匹配还是语言模型判定,也没有说明 Top-k 检索、记忆压缩与冲突消解策略,这些仍是复现时必须补齐的环节。

三种续接基线揭示了 SIM 的设计意图:

| 续接方式 | 继承内容 | 主要缺口 | |---|---|---| | Harness-only | 最终演化后的脚手架 | 缺少修改理由、效果记录与适用上下文 | | Root-cause-only | 根因或修改理由 | 缺少预测结果、实际结果及完整评测条件 | | SIM | 问题、根因、预测、观测与上下文 | 需要处理记忆陈旧、检索错误和存储膨胀 |

SIM 的工程价值在于把“改了什么”提升为“为何改、预期怎样、实际怎样、在哪种评测下”。这比复制一个可能对旧基准过拟合的最终提示或工作流更适合跨基准、跨模型迁移。

工程权衡与实测表现

论文在四个领域开展实验,并覆盖跨数据集续接与成对跨模型续接。与 harness-only、root-cause-only 相比,SIM 在这些比较中取得更高的最终得分。编码任务包含10次独立源运行,配对续接使用 SIM 后,最终得分相对 harness-only 平均提高 2.36分,显著性检验为 p=0.003。配对设计能够控制同一源运行带来的部分差异,跨数据集和跨模型结果也比单一固定设置更有迁移意义。

不过,2.36分只是相对基线的绝对分差,并非百分比提升;采集材料没有给出基线绝对分数、评分尺度与置信区间,因此不能判断其相对幅度。p=0.003说明在论文采用的统计假设下结果不太可能由随机波动解释,但不等于结论已跨模型、跨任务族稳定复现。摘要也未说明比较次数、显著性校正、随机种子、策略模型、基准组成及失败案例。

SIM 的实际部署同样存在成本约束:

  • 记忆膨胀:若每次尝试都保存完整评测上下文,存储量会随尝试数近似线性增长;若把历史直接放入优化器上下文,Token 成本还会继续上升。
  • 陈旧经验:基准版本、工具接口、模型权重或评分器变化后,旧记录可能失效。忽略评测上下文会放大错误复用风险。
  • 错误归因:如果问题分组或根因判断错误,优化器可能把偶然收益当成可迁移规律。
  • 检索误差:过度复用会压缩探索空间,完全不检索则退化为普通追加试错。
  • 评测依赖:预测结果只有与可靠的实际评测绑定才有价值;评分器漂移会污染整段历史。
  • 额外开销:任务策略本身未必增加推理负担,但优化器需要存储、检索并维护额外评测记录,总优化成本可能上升。

开发者落地与部署建议

  1. 将记忆放在优化器控制层:不要默认把全部历史注入任务策略提示。先由优化器决定是否复用、修订或放弃某条经验,再把确认后的最小变更交给执行框架。
  2. 采用可审计记录结构:除问题分组、根因、预测和观测结果外,还应记录模型版本、基准版本、工具接口版本、提示哈希、随机种子、评测时间与成本。
  3. 把上下文兼容性设为复用闸门:只有基准族、模型代际、工具链和评分协议满足预设兼容条件时,才允许直接复用历史方案;否则先做小规模冒烟评测。
  4. 采用影子评测与渐进晋级:候选修改先在历史问题上回放,再进入当前任务集;只有通过回归阈值和成本阈值,才替换线上 harness,并保留一键回滚版本。
  5. 同时保留失败记录:失败方案及预测偏差是校准优化器的重要数据,不应只写入成功案例,否则记忆会系统性高估相似改动的收益。
  6. 按成功任务总成本验收:除最终分数外,还应统计每个成功任务的优化调用量、Token、墙钟时间、错误复用率、旧经验失效率和回滚次数。
  7. 复现实验采用三组对照:在相同源运行、模型、预算和随机种子下比较 harness-only、root-cause-only 与 SIM,并报告配对差值、置信区间和跨领域一致性。

结论

SIM 的贡献是给 CRSI 提供了一个可追踪的优化记忆层:历史编辑不再只是最终脚手架,而是带有问题、理由、预测、观测和评测上下文的历史资产。现有证据支持它在跨基准、跨模型续接中的潜力,但尚不足以证明模型实现了无外部评测约束的自主递归改进。工程上更稳妥的定位,是把 SIM 视为 harness 优化器的实验记忆与变更控制层。


消息来源:Hugging Face Daily Papers (2026-11-13)

—— 完 ——

主题标签: #智能体自我改进 #Harness优化 #持续记忆 #跨基准泛化 #智能体评测

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…