Third Eye揭示递归自我改进陷阱：即时收益难抵后续退化

摘要：论文提出“第三只眼”评测框架，将模型一次自我更新后的即时收益与下一次原生更新后的持续效用分开评估。研究覆盖五种3B至8B骨干模型、64次全新运行及多轮候选续写；在Qwen3-4B与Llama-3.2-3B的均衡比较中，即时选择带来的效用接近零，但再次更新使效用下降1.78个百分点。候选平均效用在首次更新后已经为负，说明筛选机制掩盖了部分退化。结果表明，自更新应被视为跨阶段适应过程，必须使用独立评分、无更新基线及分布外测试衡量长期保持能力。

---

核心发现：一次更新“看似持平”，不等于长期有效

Third Eye研究的核心问题不是“模型自我更新后能否立刻得分更高”，而是：一次有用的自我更新，在模型再次进行原生更新之后是否仍然有用？ 这把递归自我改进从单次能力比较，转化为跨更新阶段的适应与保持问题。

研究在数学和代码任务上测试五种3B至8B参数规模骨干模型，包括Qwen3-4B、Llama-3.2-3B、SmolLM3-3B、Llama-3.1-8B和Qwen3-8B。实验共包含64次全新运行，每次生成三个候选，每个候选继续执行三轮更新；候选选择阶段和最终评分阶段使用互不重叠的题目，以降低筛选偏差与数据复用造成的乐观估计。

在Qwen3-4B/Llama-3.2-3B的均衡对比中，即时选出的候选效用接近零；但模型继续完成原生更新后，效用下降1.78个百分点，同时95%置信区间为0.68至2.88个百分点。下降方向明确，但论文同时强调，这不足以证明存在唯一机制。更关键的是，若不先筛选候选、而是直接计算候选平均效用，首次更新后的结果已经为负。换言之，选择过程部分抵消了首次更新的真实退化，使单步评测看起来接近中性。

评测机制：把“筛选收益”与“更新收益”拆开

Third Eye并不只是增加一个基准，而是改变实验的计量单位。一次自更新过程可拆成两个阶段：

1. 即时阶段：模型生成多个更新候选，通过独立题目选择表面上表现最好的候选；
2. 延续阶段：被选候选继续接受模型自身的原生更新，再在另一组未见题目上测量最终能力。

这种拆分能识别一种典型的选择偏差。候选平均效用为负，说明更新过程整体可能正在损伤模型；但基于即时测试集挑选候选后，负效用被部分抵消。如果只看被选候选在选择集上的成绩，就会把“筛选规避低质量更新”误判为“更新产生了能力增益”。

工程上，这对应两个不同但常被混淆的量：

• 选择效应：在同一批候选中找到较好者的收益；
• 更新效应：模型参数或生成策略发生变化后，相对无更新基线的真实变化。

只有设置无更新对照，并分别报告候选均值与选择后均值，才能区分二者。研究中的后一项结果最终出现负效用，意味着递归更新流程的稳定策略尚未建立。

为什么继续更新反而退化

论文报告，目标任务损失和分布外损失共同主导能力保持变化。这表明退化不只是“学会了当前题目，却忘了旧知识”这么简单，还可能涉及更新后的模型在新分布上的适应性下降。

递归自更新通常包含两类相互竞争的过程：

• 任务适配：模型针对当前数学或代码样本强化局部模式，提高短期求解能力；
• 分布漂移：连续更新使参数分布逐渐偏离原始预训练状态，窄化行为覆盖范围，并削弱原有能力。

如果每轮更新都从候选中选择短期表现最佳者，选择压力可能进一步放大过拟合：更新越偏向当前评测分布，候选间的短期差异越容易被放大，但这种差异未必能在下一阶段持续。研究还尝试了匹配训练配方和接收者—捐赠者控制，但两者均未找到可靠缓解方案，也未锁定单一因果机制。

因此，目前更稳妥的解释是，持续退化可能来自更新配方、候选选择、数据分布和模型架构等多种因素的组合，而非某个可由单一修补解决的缺陷。

工程权衡：保留改进收益与避免递归退化

自更新机制通常具有明显成本收益不对称。模型在候选生成、推理筛选和后续更新上需要消耗额外算力；若筛选还能抵消短期退化，系统表面上会显得稳定，但这种稳定性可能依赖持续重算和严苛筛选，而非模型本身获得了可迁移的改进。

部署前建议同时保留三条基线：

• 原始模型无更新基线：衡量整个流程相对初始状态的净收益；
• 未筛选候选平均基线：排除选择器对负面更新的遮蔽；
• 固定初始模型基线：用于检测多轮更新是否破坏初始能力。

评测数据也应分为选择集、最终评分集和分布外保持集。选择集与最终评分集必须隔离；分布外集则用于区分灾难性遗忘与任务边界漂移。对于持续学习系统，最好记录每一轮更新后的能力轨迹，而不是只报告最后一次成绩。

实践建议：把递归更新视为状态转移系统

Third Eye对工程团队的直接启示是：不要把一次自更新后的基准增益作为递归自我改进的充分证据。系统至少需要记录以下指标：

• 候选分布的中位数与均值，而非只报告最佳候选；
• 选择集与独立最终评分集之间的泛化差；
• 每次继续更新后的效用斜率；
• 目标任务和分布外任务的遗忘幅度；
• 相对无更新基线的累计净收益；
• 生成候选、筛选及更新所需的总算力成本。

如果效用随连续更新总体下降，优先措施应是停止递归更新并回滚到经验证的检查点，而不是继续增加选择轮数。只有当多轮更新后的独立评分持续高于无更新基线，且分布外损失没有明显扩大时，才能认为改进形成了稳定的能力转移。

研究边界

研究结论建立在3B至8B骨干模型、数学与代码任务及当前自更新流程上，尚不能直接外推到更大规模模型、不同架构或真实生产代理。论文报告了64次运行并采用独立评分与控制实验，这在一定程度上提高了结论可信度，但仍需独立复现。

此外，摘要未充分披露候选生成成本、各原生更新的训练预算、不同选择器带来的额外收益，以及更多随机种子下的方差。工程采用时，应优先复现实验协议本身，而不是只引用1.78个百分点的单一汇总结果。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-11)

—— 完 ——

主题标签： #递归自我改进 关注 #持续学习 关注 #模型评估 关注 #能力保持 关注 #Third Eye 关注