GUARD以方向遗憾稳住智能体递归自改进
摘要:GUARD面向“冻结底座模型+可编辑智能体Harness”的递归自改进:先把任务拆成执行前自检项,再以方向遗憾区分新退化与未解问题,从并行候选中完成无评审器相对筛选,并由Soft-HURT门控仅接纳收益高于回归的修改。论文称其在记忆、技能演化、持续任务流和领域推理上提升表现,同时抑制遗忘、记忆膨胀并降低部署Token。工程上,它把权重训练成本换成离线候选生成与评测成本,且无参考自检仍可能错判;当前仅有arXiv v1摘要,绝对成绩、基线、消融与代码状态待核验。
核心思路
GUARD把递归自改进的修改对象限定在由提示词、技能、工具规则和记忆组成的可编辑Harness,底座模型权重保持冻结。它解决的不是“如何训练一个更强模型”,而是“智能体如何依据经验持续改写自己的运行规则,同时不让一次局部修复破坏已经掌握的能力”。
传统自编辑流程通常用反思文本或单一标量分数评价候选修改。这两类信号都会把“本次编辑新造成的退化”与“原本就未解决的问题”混在一起。GUARD的核心改进,是利用方向遗憾将这两类失败拆开处理:前者应立即回滚,后者才值得继续优化。
机制拆解
1. 执行前自检:将隐式约束显式化
GUARD先把每个任务分解成一组执行前自检项,再依据这些检查项回看完整轨迹。与任务结束后才笼统询问是否成功相比,这种设计给每次行为建立了更细的检查维度,例如某条工具规则是否被遵守、既有技能是否仍然有效,以及记忆是否出现冲突或无节制增长。
自检项承担了无参考环境中的局部奖励函数角色。不过,摘要没有说明检查项由谁生成、如何修订,以及检查本身出错时如何处理,因此它减少了对昂贵外部评审器的依赖,却没有消除验证问题。
2. 方向遗憾:把新退化与旧缺陷分开
每轮更新后,GUARD依据自检结果比较行为变化。已经稳定满足的规则会被固定,减少无意义改写;新近被破坏的行为则获得更高更新优先级;仍未解决的行为与新回归不再共享同一个模糊的标量反馈。
这一区别决定了系统能否安全积累规则。若只优化总成功率,候选编辑可能通过修复一个任务、牺牲多个已有能力换取表面增益。方向遗憾让“退化”成为显式约束,而不是事后从平均分里间接观察到的现象。
3. 无评审器的组内相对筛选
GUARD并行生成多个候选编辑,再按候选组内的相对适应度选择版本,不额外调用一个独立评审模型。工程上,这可以降低评审模型的Token成本和延迟,也避免评审器与执行模型共享偏差。
但组内相对选择依赖候选之间真正具有多样性。如果所有候选都犯同一种错误,相对排序仍可能稳定地选出错误方案;候选数量、采样温度和任务覆盖度都会直接影响结果。
4. Soft-HURT门控:收益必须覆盖回归
Soft-HURT只在候选修改带来的收益高于回归成本时予以放行,并把专项修复限制在对应行为范围内,避免一条新规则在相似但不适用的场景中过度触发。摘要称,该门控还能保证已覆盖缓冲区内的非回归。
从工程抽象看,接收条件可以近似理解为:
Accept(e) = 1[G(e) > λR(e)]
其中,G(e)表示收益,R(e)表示回归,λ决定风险容忍度。这只是便于理解的工程化表达,并非摘要披露的论文原始公式。尤其要注意,“非回归保证”只适用于门控缓冲区,不等于对所有未来任务、工具状态或分布外输入提供全局保证。
5. 推理阶段保持单次执行
完成Harness演化后,部署阶段只运行一个冻结版本,不需要在每次请求中反复自评、反思和改写规则。这种设计把昂贵的优化循环移到离线阶段,推理时延更接近普通提示词或工具调用智能体。
工程权衡
GUARD的优势首先来自冻结权重:它省去了反向传播、梯度更新和模型副本管理,更新结果也可以直接审阅、版本化和回滚。持续学习发生在Harness层,而不是参数层,因此技能遗忘的破坏面相对有限。
代价则被转移到了离线流程。每轮需要并行生成、运行和比较多个候选编辑,候选评测本身可能消耗大量模型调用与Token。论文强调部署Token下降,但不能由此推断全生命周期成本同比例下降;工程核算必须同时统计候选生成、自检、回归评测和最终部署四部分。
Harness膨胀也是另一项约束。规则和记忆不断积累会扩大上下文,提高首Token时延与调用成本,并可能稀释关键指令。GUARD通过门控减少记忆污染,但生产系统仍需为规则、技能和记忆分别设置Token预算、TTL、去重策略与冲突合并机制。
冻结模型还限定了改进上限:模型无法从参数中学会的新知识,仍需通过工具、提示词或外部记忆表达。如果任务瓶颈来自基础推理能力,而非规则编排,继续演化Harness的边际收益会迅速下降。
评测应如何审视
摘要覆盖记忆、技能演化、持续任务流和领域推理四类任务,并声称性能提升、遗忘与记忆污染减少以及部署Token下降,但未提供基准名称、绝对分数、方差、样本规模、基础模型、上下文长度或工具调用成本。仅凭这些描述,尚不能判断收益来自机制本身,还是来自额外计算预算与针对性调参。
最关键的消融包括:移除执行前自检、方向遗憾、组内相对筛选及Soft-HURT分别会损失多少;相对性能提升是否在未见任务流上保持;Token下降是否以更大的Harness或更多离线调用为代价;以及自检器与被评智能体共享模型时是否存在共同偏差。
开发者落地建议
- 将Harness视为可审计制品,为提示词、技能、规则和记忆分别记录版本、作者、触发范围与Token占用,避免一次修改无法定位或整体回滚。
- 为每个候选保留黄金回归集和隐藏留出集;前者验证非回归,后者检查是否只是对公开评测任务过拟合。
- 将自检拆成确定性程序规则与模型判断两类。前者适合工具参数、权限和状态一致性,后者才处理语义性任务约束。
- 在上线门禁中同时统计离线候选成本、最终Harness大小、部署p50/p95时延、任务成功率、严重回归率和单位成功任务Token,而不是只看平均分。
- 先在低风险、可回放任务上启用自动更新;规则涉及外部工具、权限或数据写入时,应增加人工审批或环境级验证器。
- GUARD的无参考设计适合作为第一道筛选层,但高风险场景仍需要独立oracle、人工抽检或可验证的环境奖励,否则自检器与执行器共享同一错误时,闭环可能稳定地放大偏差。
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-11-19)
主题标签: #GUARD #递归自改进 #智能体Harness #方向遗憾 #持续学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区