智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #权重空间编程 #大模型评测 #模型编辑 #无梯度优化 #智能体基准

WeightBench评测LLM权重空间编程:能读小网,仍难改7B模型

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:WeightBench 将大模型直接读取、修复或生成神经网络参数的能力定义为“权重空间编程”(WSP),并以42项任务覆盖读取、修复、生成权重、识别不可行编辑和无数据压缩五个方向。被测网络从2K参数控制策略延伸到7B语言模型。Claude Opus 5.5在完整42项任务上取得0.535宏平均分;GPT-6.1-sol在共同覆盖的38项任务上为0.568,同范围Opus为0.546。结果表明,前沿模型可写出小型控制策略,却仍不能可靠修补7B级模型、辨别不可能编辑或完成无数据压缩。代码、任务注册表、OS级沙箱与实时榜单已开放。


核心发现

WeightBench 将“让大模型直接操作另一个神经网络的参数”系统化为权重空间编程(Weight-Space Programming,WSP)。评测覆盖42项任务和五条赛道:读取权重、修复权重、从头生成权重、识别不可行的编辑,以及在不使用原始数据的情况下压缩网络;目标网络规模从2K参数控制策略一直延伸到7B参数语言模型。

最重要的结论不是模型已经能够普遍修改大模型,而是能力边界已经出现分层:前沿模型可以读取部分小型网络,并在不依赖梯度更新的情况下写出可工作的控制策略,但面对7B级模型时,直接修补权重、无数据压缩以及判断某项编辑是否根本不可实现,仍是明显短板。

WSP为何不同于普通代码生成

对模型修复任务,可以把目标写成:

θ' = θ + Δ

在保持指定行为和结构约束的前提下寻找最优参数增量 Δ。传统模型编辑通常借助梯度下降、局部优化器或可训练的超网络求解;WSP 则让大模型同时扮演优化器、数值代码生成器和参数序列化器,直接输出补丁或完整权重。

这要求模型理解的不只是自然语言需求,还包括张量形状、参数尺度、层间耦合和数值稳定性。仅比较新旧权重的欧氏距离也不足以判断功能是否正确,因为神经元置换、缩放等权重空间对称性可能显著改变参数值,却保留网络函数。因此,WeightBench 真正需要验证的是执行后的行为,而不是参数字符串是否与参考答案逐项一致。

对于“不可行编辑”任务,模型还必须识别约束冲突,而不是强行生成补丁;对于“无数据压缩”,模型需要在缺少校准分布的情况下近似原网络功能。后两项要求模型具备近似优化器和分布外泛化能力,难度明显高于读取小型网络。

基准设计与评测闭环

WeightBench 同时覆盖极小控制策略和7B语言模型,目的是测量能力是否随着目标网络规模、编辑类型和模型能力发生系统性退化。任务注册表负责固定输入、目标函数和成功条件,操作系统级沙箱则隔离模型提交的代码与权重产物。

对于可执行控制策略,“模型不运行候选策略”应理解为被测模型在生成答案时没有通过反复执行和反馈搜索来优化权重;基准仍必须在隔离环境中执行候选产物,才能判断其是否真正可用。这也意味着生产系统若允许执行反馈,就不应与纯一次性生成设置混为同一评测协议。

代码、任务注册表、沙箱框架和实时榜单已发布在 github.com/Aayush-Marasini/WeightBench,为后续研究者复现不同模型、编辑策略和沙箱配置提供了统一入口。

分数应该怎样解读

论文报告的结果如下:

| 模型 | 覆盖任务 | 宏平均分 | 备注 | |---|---:|---:|---| | Claude Opus 5.5 | 42 | 0.535 | 覆盖完整任务集 | | Claude Sonnet 5.5 | 42 | 0.466 | 覆盖完整任务集 | | Claude Haiku 5.5 | 42 | 0.402 | 覆盖完整任务集 | | DeepSeek v4-flash | 42 | 0.215 | 覆盖完整任务集 | | GPT-6.1-sol | 38 | 0.568 | 仅运行38项任务 |

GPT-6.1-sol 与 Opus 的有效比较应限定在共同的38项任务上:前者为0.568,后者为0.546,绝对差为0.022。不能拿GPT的0.568直接对比Opus覆盖42项任务所得的0.535,因为任务集合不同。

宏平均分也不等于42项任务全部通过。它更可能聚合多个任务或赛道的标准化指标,但当前摘要没有披露具体归一化方式、各赛道分项、任务难度分层和置信区间。因而,榜单足以说明“大模型编辑仍是瓶颈”,却不足以判断模型究竟擅长哪类参数操作。

工程权衡

1. 输出带宽是硬约束

7B模型仅保存BF16权重就约需14GB,若使用FP32则约需28GB。让语言模型逐项输出完整权重,在Token数、推理时间和成本上都不现实。现实系统必须限定为稀疏补丁、低秩增量、局部矩阵编辑或压缩表示,但每种表示都会改变任务难度,也容易让不同方案失去可比性。

2. 数值序列化可能成为误差源

直接生成权重需要规定参数顺序、数据类型、形状元数据、舍入规则以及NaN、Inf和溢出处理方式。文本化表示还会引入额外量化误差。基准若只记录最终宏平均分,而不报告底层数值精度和序列化协议,就难以区分模型推理失败与格式损失。

3. 一次性生成与执行反馈应分开测量

纯WSP要求模型在没有梯度、甚至没有执行反馈时一次生成可用参数,工程上更接近编译器或离线优化器;带沙箱反馈的智能体则可以运行候选、读取失败信息并迭代修正。两者应分别设榜,否则测试次数、工具权限和反馈轮次会淹没模型本身的权重生成能力。

4. 参数距离不等于功能等价

权重空间存在多种功能等价表示。若任务既允许任意权重排列,又要求逐参数匹配,模型可能仅因表示不同而被判错;若完全按行为评分,则需要更严格的隐藏任务和分布外测试,以防模型生成只适配公开样例的投机权重。

5. 沙箱隔离不等于自动安全

模型提交的文件可能包含恶意代码、异常张量或资源消耗逻辑。OS级沙箱需要进一步配置CPU、内存、磁盘、进程数和时间限制,并默认阻断非必要网络访问。排行榜还应保存容器镜像摘要、依赖锁文件和随机种子,否则环境漂移会让复现结果失去可比性。

基准可信度仍需独立验证

当前结果是论文团队报告的预印本结果,尚缺少逐任务分数、多次运行方差、提示词与输出预算、重试策略、工具权限以及完整成本数据。不同模型还可能使用不同的推理配置,因此不能把分数差异全部归因于模型架构或训练方法。

任务选择也可能影响结论。不可行编辑需要足够强的困难负例,避免模型靠表面模式拒绝;无数据压缩则需要明确目标分布和隐藏测试集。若任务主要围绕小型、全连接或结构高度规则化的控制策略,模型在其中的成功也不能直接外推到7B级Transformer。

实时榜单有助于收集复现结果,但只有同时固定模型版本、API参数、提示模板、最大输出Token、执行权限和评测镜像,才能成为可审计的工程基准。

开发者落地建议

  • 研究复现时固定仓库提交版本和容器摘要,先在GPT与Opus共同的38项任务上比较,再单独报告完整42项结果;至少给出逐赛道分数、随机种子、置信区间、Token消耗、墙钟时间和失败类型。
  • 将无执行反馈、有限轮沙箱反馈和开放工具调用拆成三个独立赛道,避免把迭代搜索收益误记为一次性权重生成能力。
  • 传统基线不能缺席。模型编辑应对比梯度式编辑、蒸馏、稀疏或低秩更新、量化与NAS;控制策略生成则应与常规强化学习或进化搜索比较。
  • 生产环境现阶段更适合把WSP限制在小型控制网络,并采用严格参数模式、差分测试、候选权重校验、Canary发布与版本回滚。不要允许模型直接覆盖7B生产权重。
  • 对“不可行编辑”应建立显式拒答接口和人工复核路径;能够生成补丁不等于能够判断何时必须停止。

WeightBench 的核心价值,是把WSP从少量演示推进到可复现的系统评测,并明确证明它尚未跨过规模化语言模型编辑这道门槛。当前可用信号主要在小网络读取与生成,大模型级权重修复仍需要稀疏表示、严格验证和人工工程约束共同兜底。


消息来源:Hugging Face Daily Papers (2026-11-13)

—— 完 ——

主题标签: #权重空间编程 #大模型评测 #模型编辑 #无梯度优化 #智能体基准

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…