27B语言模型无需梯度改写自身权重,准确率提升6.6个百分点
摘要:一项自改写研究让27B语言模型在获得自身权重、已评分答案和自运行能力后,直接生成参数修改并更新权重,全程不调用梯度下降。模型在预先固定的490道未见题上将准确率提高6.6个百分点,连续8次自改写均未回退。它还能仅凭文本数学题修复受损副本,使副本在6个未见图像基准上从7%升至70%,达到完好模型的83%。但结果限于特定模型家族与有限会话,方差、基线、代码和复现信息仍待核验;它更接近受外部评分驱动的闭环参数编辑,而非无监督递归自我进化。
核心结论
这项研究把语言模型改进从梯度训练改造成一个闭环权重编辑过程:27B模型读取当前权重、已评分答案及自身的运行结果,诊断失败原因,生成新的参数修改,再通过自建测试决定是否接受更新。论文将其称为自改写(self-rewriting)。
这里的无梯度并不等于无监督。模型不会执行反向传播,也没有传统优化器状态,但仍需要外部提供的已评分答案、候选模型评测以及多轮推理。所谓自我改进,准确说是由外部反馈约束的自主参数修补,而非已经实现递归式的自主进化。
技术机制拆解
从论文摘要披露的流程看,闭环可以抽象为:
- 失败诊断:模型结合自身权重与已评分输出,识别错误发生在哪些任务或能力上。
- 编辑生成:模型直接产生参数增量
Δθ_t,形成候选权重θ_t + Δθ_t,而不是计算损失对参数的梯度。 - 验证门禁:系统用模型自行构造或选择的测试比较候选版本;只有候选结果优于当前版本时才接受更新,否则回滚。
- 迭代替换:每次通过验证的编辑替换上一版本。论文报告前8次有效会话的准确率只升不降,但这也意味着连续变更尚未覆盖长期运行中的漂移与安全问题。
若以候选相对基线的验证增益作为接受条件,可写成 A_t = E_val[f(θ_t + Δθ_t)] - E_val[f(θ_t)],仅当 A_t 超过预设阈值时提交编辑。这是根据摘要信息建立的概念抽象,并非论文披露的完整算法。
论文还描述了一种更具体的内部状态编辑:27B模型比较正常完成与耗尽Token两类答案的隐藏状态,寻找区分二者的方向,再削弱该方向。摘要没有说明该方向由线性探针、均值差还是其他估计器获得,也没有公开编辑所在层、目标矩阵及更新幅度,因此目前不能把它等同于已经验证的可解释性方法。
自修复实验为何特殊
另一组实验让模型修复自身受损副本。模型需要先定位被破坏的矩阵,再生成新的参数值,而且不能读取未损坏版本作为参考答案。研究仅使用文本数学任务完成修复,随后在6个训练中未见的图像基准上测试,副本准确率从7%升至70%,达到完好模型83%的水平。
这说明修复结果可能不仅记住了文本数学答案,还恢复了某些跨模态共享能力。不过摘要没有说明损坏矩阵的类型、破坏比例、定位准确率或不同损坏分布下的稳定性。如果损坏位置与模型结构高度相关,则70%的结果仍可能依赖特定合成方式,需要在自然发生的权重损坏和多种故障强度下复测。
工程成本与权衡
| 维度 | 潜在收益 | 实际代价与风险 | |---|---|---| | 无梯度更新 | 免除反向传播和优化器状态 | 仍需生成权重修改、运行候选模型并重复评测,计算并未消失 | | 持久化改进 | 提交后不增加每次回答的推理成本 | 收益会被摊销到后续全部请求,但更新阶段可能耗时数小时 | | 单GPU运行 | 降低训练基础设施门槛 | 27B参数仅BF16权重就约54GB,尚未计入激活、KV Cache和候选副本 | | 自验证门禁 | 可阻止明显退化的编辑被提交 | 自生成测试可能存在偏差,模型也可能学会迎合验证器 | | 自主修改权重 | 可持续修正局部能力 | 错误编辑可能造成灾难性遗忘、安全对齐漂移或难以复现的状态 |
27B模型能在单GPU上运行数小时,可能依赖大显存GPU、CPU卸载或量化,但采集材料没有给出硬件、精度和编辑表示。若模型需要输出稠密权重差,BF16增量理论上同样可接近54GB;因此该方法能否低成本扩展,关键取决于编辑是否局部、稀疏或采用低秩参数化,而这正是需要代码验证的部分。
评测表现与可信度
论文给出的主要结果包括:在提前固定且包含490道未见题的测试中,27B模型自改写后准确率提高6.6个百分点;另一会话的独立编辑也带来显著提升;前8次有效编辑会话未出现准确率回退。规模消融中,2B模型不会生成编辑,4B和9B模型会破坏自身,只有27B模型能形成有效自改写。
预先固定测试集是重要设计,它降低了模型根据最终题目反复挑选编辑方案的空间。不过,当前摘要仍缺少多项关键证据:
- 改写前后的绝对准确率、置信区间、随机种子方差及显著性检验;
- 与LoRA、梯度编辑、提示优化和随机参数扰动等基线的公平对比;
- 490道题的任务分布、是否存在训练污染以及自验证集与最终测试集的重叠检查;
- 编辑目标矩阵、参数变化幅度、消融实验和失败案例;
- 连续8次编辑只说明短期单调性,无法证明长期不会累积副作用。
因此,结果支持的是受控条件下、特定模型规模上的自改写能力,而不是对任意语言模型都成立的一般规律。
开发者落地建议
现阶段更适合把该方法作为离线研究工具,而非直接部署到生产模型。安全试验应从不可变基础权重创建分支,对每次修改保存哈希、参数差异与评测记录,并保留可立即回滚的检查点。候选编辑必须同时经过独立固定测试,而不能只依赖模型自行生成的验证题。
如果用于持续改进系统,还应增加安全对齐、灾难性遗忘、长上下文、工具调用和分布外任务回归测试,并对连续编辑设置总预算、漂移阈值与人工批准点。工程上可优先验证局部矩阵编辑、稀疏增量或侧载Adapter,以缩小更新范围并降低完整模型复制成本。
复现时应首先确认模型家族、硬件、量化精度、编辑表示和验证协议,再比较无编辑、随机编辑、LoRA与本文方法的相同数据预算。没有这些信息,6.6个百分点和7%到70%的结果还不能被判断为可重复的工程收益。
结论
这项工作的核心价值不在于证明模型具有人类意义上的自我意识,而在于展示了一条无梯度、持久化的参数自编辑路径:如果结果能够独立复现,模型改进可能从一次性的训练任务转变为受测试门禁约束的连续维护流程。现阶段最准确的定位是受外部评分驱动、依赖模型规模且仍需严格沙箱化的自改写原型。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-16)
主题标签: #语言模型自改写 #权重编辑 #无梯度优化 #模型自修复 #27B模型
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区