零梯度编译将精确算术电路直接植入预训练大模型
摘要:论文提出“电路嫁接”编译框架,将确定性计算直接写入预训练模型权重,无需训练样本、梯度更新或外部工具钩子。其核心以 Mellin-GLU 数值求积处理 RMSNorm 未知缩放,通过 Indefinite-RoPE 与 GatedDeltaNet 的对称结构抵消跨 token 尺度漂移,再扩展隐藏宽度并改造 Base-1000 输出层。Granite 4.2 3B 与 Qwen 3.5 4B 在 1,200 个六位数算术样本上报告 99.17%—100% 的 ALU 前缀准确率,明显超过 12.8K 样本 LoRA;但编译耗时、代码开放度、方差和更广泛分布仍待核验。
核心思路:把专用计算电路写进模型权重
这项工作没有让语言模型通过更多算术样本“学会”计算,而是把一个确定性函数先表示为电路,再通过闭式求解把电路行为映射到预训练模型的隐藏状态与输出权重中。论文目标覆盖四至八位有符号加、减、乘,以及三文字布尔函数、五位 Majority 和 Parity。整个过程不使用训练样本或反向传播,运行阶段也不必调用 Python、计算器等外部解释器。
“LLM 内部放了一个 CPU”是一种形象说法:它并不是通用指令集,也不支持任意程序、循环或动态内存访问。真正被嵌入的是针对特定任务的常深度阈值电路,因此它更接近一个被编译进神经网络的专用算术协处理器。
三组机制如何协同
1. Mellin-GLU:用数值求积吸收 RMSNorm 缩放
RMSNorm 会依据每个 token 的激活统计量施加乘性缩放,形式上接近 x / sqrt(mean(x_i²)+ε)。这意味着编译器即使知道目标电路,也无法仅凭原始权重确定运行时的精确归一化尺度。
论文利用 Mellin 变换把乘性缩放转换为对数域中的平移,再在无偏置 SwiGLU 或 GeGLU 层上构造两层 Mellin-GLU 求积器。编译器在跨度超过 250 倍的对数间隔门控网格上逼近目标传递关系,并用 IEEE 754 误差界约束浮点实现偏差。这样,固定权重不必依赖运行时获知精确 RMSNorm 因子,也能执行预定的门控变换。
2. 跨 token 尺度抵消:抑制状态传播中的漂移
单层数值补偿还不足以保证多位运算在 token 间稳定传递。论文为此组合了 signed Chebyshev Indefinite-RoPE self-sink attention 与 memoryless SiLU-antisymmetric GatedDeltaNet shifts:前者利用自汇注意结构维持计算状态,后者通过反对称状态更新抵消公共尺度因子。
工程上,这解决的是长序列算术中最棘手的问题之一:误差会随着位数和 token 累积,而纯前馈补偿往往只能校正当前层,无法追踪此前状态。对称结构提供的是结构性抵消,而不是再训练一个误差修正模型。
3. 宽度扩展与规范化输出
编译器把隐藏宽度从 d 扩展到 d+K,用新增通道承载电路状态,并以 d/(d+K) 进行范数补偿,使扩展前后的平方激活尺度在统计口径上保持接近。这比直接追加状态维度更稳妥,否则新增通道会改变 RMSNorm 的分母并破坏原有层的数值范围。
输出端采用 Base-1000 canonical BPE,将十进制数字按千进制分块编码,减少逐位生成时的 token 数和对齐错误;差分式 tied unembedding 则通过 +254/-256 偏移拉开不同符号方向的输出 logit。这里的工程代价是模型宽度、embedding 形状和 tokenizer 词表都会发生变化,原始 checkpoint 不再能直接按原配置加载。
常深度不等于低资源
论文把四至八位加减乘描述为常深度 TC^0 电路,但这个复杂度结论不能直接翻译成“几乎不耗算力”。TC^0 限制的是电路深度;随着位数增加,电路宽度、参数数量、矩阵乘吞吐和状态带宽仍会增长。部署到 GPU 后,每一层可能变成一次很宽的矩阵运算,而逐 token 自回归解码也不会因此消失。
此外,“零梯度”不等于“零编译成本”。闭式求解仍可能涉及大型线性方程、离散求积、条件数控制或数值搜索。摘要没有给出编译时间、内存峰值、求解失败率或不同位数下的扩展曲线。“零运行时钩子”也不等于零部署成本:隐藏宽度扩展、稀疏侧车读取、Base-1000 token 化和精度策略都可能要求修改推理配置或内核。
论文报告的实测结果
| 验证项 | 摘要报告结果 |
|---|---|
| 三文字布尔函数 | N=1,728 时达到 100%,另对 42 层 Gemma 4 E4B 进行了审计 |
| 五位 Majority / Parity | 均达到 100% |
| Granite 4.2 3B 六位数算术 | BF16 下 ALU-prefix accuracy 为 99.17%,加入 FP32 sidecar 后为 100%;句中续写为 98%—100% |
| Qwen 3.5 4B 六位数算术 | ALU-prefix accuracy 为 100%,FP32 sidecar 同样为 100%;句中续写为 98%—100% |
| 活跃非零参数 | Granite 为 107 万—133 万,占比不超过 0.036%;Qwen 为 225 万—239 万,占比不超过 0.057% |
| LoRA 对照 | 使用 12.8K 样本时,两模型分别为 42.2% 与 61.7%,句中续写均为 0% |
| 长上下文回归 | 通过 14/14 个预注册的 2K token 以上 Tango split,覆盖 N=4,392;11,134 个 OOD trigger 中为 0 次触发 |
| A100 显存 | 两组报告值为 7.89/10.65 GiB;摘要所述 INT8/INT4 与 FP32 sidecar 组合下为 4.60/8.14 GiB,但逐项对应关系未充分说明 |
评测应如何解读
结果支持两个有价值的结论。第一,小型布尔电路能够以很高准确率被写入现成模型,并在两个不同模型家族上保持句中续写能力。第二,与 12.8K 样本 LoRA 相比,闭式电路在目标算术任务上明显更强,说明确定性专用功能与通用后训练解决的是不同问题。
但这些结果不能证明模型获得了通用数学推理。编译器预先知道目标电路,能够为其分配专门状态和输出通道,这更接近硬件加速器,而不是模型从数据中涌现出可泛化的算法。1,200 个六位数样本规模有限,摘要也未提供置信区间、随机种子、提示模板或逐位错误分布。LoRA 对照是否获得相当的编译搜索预算、训练超参数是否充分调优,同样无法判断。
此外,“精确电路”与“部署后每个样本都精确”并不等价。Granite 的 BF16 结果只有 99.17%,说明浮点舍入仍会破坏部分端到端输出。预注册的长上下文测试和零 OOD trigger 是积极信号,但当前材料仍不足以替代跨模型、跨任务和独立团队的复现。
开发者落地建议
- 先确认架构兼容性。 编译流程依赖无偏置 SwiGLU/GeGLU、RMSNorm、指定的位置编码与状态空间结构,不能假定可直接套用于任意 Transformer、GQA 或混合注意力模型。
- 把 tokenizer 与输出层纳入迁移计划。 Base-1000 canonical BPE 和 tied unembedding 改动会影响词表、embedding 形状及生成约束;生产系统需明确多词表、数字别名和特殊 token 的处理规则。
- 离线执行数值审计。 对小位宽任务进行穷举验证,对目标位数运行随机与边界值测试,并记录 RMSNorm 漂移、IEEE 754 误差上界和每层门控范围。
- 按可靠性选择精度。 若业务要求可验证的精确结果,应保留 FP32 路径;INT8/INT4 虽能降低侧车占用,却可能破坏论文给出的严格误差边界,不能只依据平均准确率降级。
- 单独测量编译与推理成本。 除显存外,还应测量编译耗时、侧车访问开销、首 token 延迟、持续解码吞吐和批处理扩展性,并验证自定义宽度是否破坏现有并行内核。
- 限定应用边界。 该方法适合需要确定性、可审计算术的代理或领域模型,但目前不应被视为通用计算器替代方案,也不宜据此宣称模型获得了可迁移的数学能力。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-19)
主题标签: #零梯度编译 #电路嫁接 #大模型算术 #Mellin-GLU #模型权重手术
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区