智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #自改写权重 #免梯度优化 #大模型自改进 #模型权重编辑 #权重修复

27B模型无梯度自改权重,8轮持续提升并跨任务修复

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:一篇arXiv预印本提出“自改写”(self-rewriting):27B模型利用自身权重、带评分答案和自运行能力诊断失败,在无梯度、无训练的情况下直接改写参数;其编辑在预先固定的490道未见题上提升6.6个百分点,连续8次会话均未回退。论文还报告,仅凭文本数学题定位并修复受损矩阵后,副本在6个未见图基准上由7%升至70%,达到完好模型的83%。不过摘要未披露模型家族、编辑矩阵与秩、硬件、数据集、方差或代码,结果仍需独立复现。


核心结论与边界

这项工作不是让模型生成一段更好的提示词,而是让已经训练完成的模型直接改写自己的参数,并把修改保留在权重中。按照论文摘要,模型获得当前权重、带评分的答案以及运行自身的能力;它先诊断失败原因,再生成候选权重更新,只有自测支持时才接受更新,并用新版本替换上一版本。

与测试时扩展相比,这种方法的收益不会在任务结束后消失:权重一旦被修改,后续请求使用普通推理路径,不需要每次回答都运行额外评审器或搜索树。论文因此将“训练”和“推理”的边界改写为连续会话中的参数编辑过程。

技术机制:从隐藏状态诊断到参数写入

摘要中最具体的机制线索,是27B模型会比较“正常完成”和“耗尽 Token”两类回答的隐藏状态,并削弱二者之间的分离方向。完成与截断输出形成的内部表征差异,相当于模型自行构造的失败信号;模型再把这一诊断转化为具体参数值。

从抽象形式看,每轮编辑可表示为 θₜ₊₁ = θₜ + gₜΔθₜ,其中 gₜ 是模型依据自测结果给出的接受门控,Δθₜ 是参数增量。论文摘要没有披露被编辑的具体矩阵、更新秩、参数化方式或数值稳定性处理,因此不能断言它采用的是稠密更新、低秩分解还是适配器式写入。若实现采用秩为 r 的增量,额外存储通常为 O(r(d_in+d_out)),而同等规模的稠密更新需要 O(d_in·d_out),两者在27B模型上的检查点与回滚成本差异很大。

“不使用梯度”也不等于“没有优化”。系统实际上执行了一个黑盒外循环:提出候选编辑、运行自测、接受或拒绝,再进入下一轮。它省去了反向传播和优化器状态,却把计算成本转移到了候选验证与反复执行上。

实证结果

| 实验场景 | 论文摘要报告 | 应如何理解 | | --- | --- | --- | | 27B模型自改写 | 预先固定的490道未见题准确率提升6.6个百分点 | 是自提升主张中最直接的量化证据,但缺少数据集名称、基线和方差 | | 跨会话迭代 | 另一会话生成的编辑也带来显著提升;前8次会话准确率只升不降 | 说明收益不完全依赖单次偶然编辑,但反复自测可能放大选择偏差 | | 受损副本修复 | 仅根据文本数学题定位并重写受损矩阵,6个未见图基准从7%升至70%,达到完好模型的83% | 跨模态修复幅度最大,也最需要排查任务泄漏、基线设置和指标口径 | | 规模消融 | 2B不生成编辑,4B和9B在自编辑时破坏自身,27B首次稳定工作 | 表明能力可能存在规模门槛,但单一模型家族不足以建立普适缩放规律 |

工程权衡:省掉训练,不等于没有成本

推理侧收益明确。 编辑被合并进权重后,单次回答不增加评审或搜索开销,原有吞吐和延迟原则上保持不变。这比每次请求都运行反思、树搜索或多数投票更适合固定延迟服务。

离线编辑成本仍然可观。 每次候选编辑都需要运行模型、比较隐藏状态并执行验证集。若27B模型以BF16保存,仅原始参数就约占54GB,尚未计入激活、Logits、候选副本和测试上下文。所谓“单GPU数小时”可能依赖80GB级显存、量化或分块方案,但摘要没有给出硬件和精度设置。

无需梯度不等于无需监督。 模型仍然需要带评分答案来识别错误,也必须获得自身权重及运行环境;因此该方法不是数据无关的自主学习,也不能直接应用于只提供API的闭源模型。与LoRA或传统后训练相比,它的潜在优势是省去反向传播基础设施,但摘要尚不足以证明其编辑质量、稳定性或数据效率更高。

权重写入具有破坏性。 一旦错误更新被接受,缺陷会直接进入后续所有请求,且可能被后续编辑当作正常基线继续放大。生产环境至少需要保留不可变原版、参数差异审计、候选分支、自动回滚和外部验收,不能让模型直接覆盖线上检查点。

评测是否可信

预先固定490道未见题,是比看到结果后再更换测试集更严谨的设计;但“未见”是否同时排除了模型用于筛选编辑的内部测试、题目改写和近重复样本,摘要没有说明。自生成测试承担了模型选择器的角色,如果候选更新反复查看同一批反馈,就可能对测试集过拟合。

此外,6.6个百分点提升缺少置信区间、随机种子和重复次数;跨会话实验采用何种显著性检验也未披露。受损副本从7%恢复到70%的结果尤其需要检查:六个图像基准的名称、任务形式、未受损模型基线、提示模板、污染窗口及是否对所有模型使用相同解码预算均不清楚。规模实验同样只覆盖一个模型家族,27B成功不能直接推出更大的模型必然更可靠。

因此,当前最合理的结论是:论文展示了一个具有启发性的自改写闭环,并提供了值得复现的初步数据;它尚未证明任意模型都能稳定、安全、低成本地自主改进。

复现与落地建议

  1. 先做受控复现。 固定模型、数据、提示模板和解码参数,加入无编辑、随机编辑、传统梯度更新及仅修改隐藏状态的对照,报告多会话曲线、GPU小时和每次成功更新的成本。
  2. 把内部自测与外部验收彻底隔离。 外部测试集不得参与候选筛选;采用盲测、预注册指标、Bootstrap置信区间和跨会话配对检验。
  3. 实施权重治理。 保存原始检查点与每次参数差异,限制单次可修改矩阵和参数范数,在沙箱中验证后再灰度发布,并提供一键回滚。
  4. 重新执行安全评测。 自改写可能改变拒答、工具调用和策略遵循行为,不能沿用改写前的安全结论;权重发布应重新通过越狱、提示注入和危险能力测试。
  5. 谨慎开放自写权限。 对研究和生产系统,最安全的初期形态是“模型提出编辑、外部程序验证并发布”,而不是让模型拥有对主权重文件的直接写权限。

消息来源:ArXiv AI (cs.AI) (2026-11-18)

—— 完 ——

主题标签: #自改写权重 #免梯度优化 #大模型自改进 #模型权重编辑 #权重修复

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…