智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #Canon Layers #线性注意力 #预训练Token效率 #上下文学习 #合成评测

Canon层让8B模型少用30%预训练Token,基准仍失灵

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:研究以64次从零预训练比较Transformer、GLA、Gated DeltaNet与Mamba2,覆盖1.3B—8B参数及100B—2T tokens。摘要称,小模型充分调参时会掩盖架构差异;进入万亿Token级预训练后,局部混合的Canon层可让8B Transformer达到同等MMLU准确率时少用约30% Token。GLA配合Canon后追平Gated DeltaNet并超过Mamba2。基准高分仍无法保证500-token检索与两跳推理,论文因而主张用合成诊断补足MMLU,并提前加入上下文推理样本。


核心结论

这篇论文通过64次从零预训练比较Transformer、Gated Linear Attention(GLA)、Gated DeltaNet与Mamba2,参数规模覆盖1.3B—8B,训练数据量达到100B—2T Nemotron-CC tokens。摘要给出的核心结果是:加入局部Token混合的Canon层后,8B Transformer在维持同等MMLU准确率时可少消耗约30%的预训练Token;配合Canon的GLA则能追平Gated DeltaNet,并在8B、1T tokens设置下超过Mamba2。

它并未证明某种架构已经全面取代Transformer。更重要的发现是,标准基准可能把真正重要的架构差异隐藏起来:参数量高达8B、训练量达到1T tokens的线性模型,仍可能在500-token上下文检索和简单两跳推理上接近随机猜测。

技术机制:Canon层改变了什么

标准Transformer通过自注意力直接建立任意两个Token之间的连接。每层需要计算长度为L的序列对应的L×L注意力矩阵,核心交互复杂度约为O(L²d + Ld²),推理时还要保存随上下文增长的KV Cache。对语言建模而言,这种全局、内容依赖的交互很强大,但局部统计、实体邻接和短程结构必须由模型从数据中自行学习。

GLA、Gated DeltaNet和Mamba2等线性或递归式架构不再显式物化完整的注意力矩阵,而是把历史信息压缩进递归状态。其状态大小通常不随序列长度增长,因此更适合长上下文训练与流式推理;代价是固定容量状态可能丢失精确复制和远距离取证所需的信息。论文发现,部分线性模型即使在MMLU上追平Transformer,也无法可靠完成仅500 Token的检索任务,正是这种能力与压缩程度之间张力的体现。

Canon层被描述为加入局部Token混合,使相邻Token获得更短的通信路径,无需完全依赖全局注意力或递归状态间接传递局部信息。摘要没有披露其窗口宽度、卷积核、参数共享方式或并行实现,因此不能断言它具体采用固定窗口注意力还是卷积式混合。若实现为固定窗口或局部卷积,其序列长度项通常接近线性,额外开销也可能远低于全注意力,但仍需结合实际Kernel测量训练吞吐、显存带宽和推理延迟。

研究还提出GLA5与GDN2,用低秩输出门改进Gated Linear Attention和Gated DeltaNet。抽象地看,普通输出门可写为g(z) = σ(Wz);若将W分解为AB并令中间秩r << d,就能以A(Bz)完成门控计算。低秩约束可能减少门控参数与计算量,同时形成更强正则化;反过来,秩过低也会限制门控选择不同状态更新通道的能力。当前摘要没有给出具体秩、参数节省量或消融结果。

规模实验为何改变结论

论文在1.3B参数、100B tokens的学术规模上发现,只要充分调参,不同架构之间的差异几乎全部消失。这意味着小模型结果容易把架构收益误判为超参数收益:更宽的学习率搜索、更长的预热或更优的数据配比,都可能补偿局部归纳偏置的不足。

当训练量进入1T—2T tokens区间,差异才稳定显现。这并不必然意味着架构上限突然改变,更可能说明数据和优化瓶颈已经转移:在较短训练中,模型有足够容量学习补偿性特征;在万亿Token级训练中,数据效率本身成为主要成本,能够减少无效Token的归纳偏置会持续累积。

| 实验设置 | 摘要报告的结果 | 工程含义 | |---|---|---| | 1.3B、100B tokens | 充分调参后架构差异几乎消失 | 小规模实验不能直接替代万亿Token架构验证 | | 1.3B—8B、1T—2T tokens | 架构差异变得可测 | 架构收益与训练规模存在交互 | | 8B Transformer | Canon层达到同等MMLU准确率时少用约30%预训练Token | 条件性的数据效率收益,不等于同等比例的端到端成本下降 | | 8B、1T tokens | GLA配合Canon后追平Gated DeltaNet并超过Mamba2 | 局部混合可能比更复杂的状态更新机制更关键 | | 小于100M参数的合成任务 | 能提前预测上述架构差异 | 小型诊断环境可作为架构筛选器,但不能替代规模验证 |

约30%的Token节省是论文最重要的工程结果之一,但必须限定其含义:它表示在指定8B设置和MMLU目标下,预训练数据需求下降,不表示训练时间、GPU成本或总FLOPs同步下降30%。全注意力随序列长度二次增长,而局部混合和递归状态具有不同的算子效率;实际节省额还取决于序列长度、Kernel实现、并行效率、显存占用及优化器状态。摘要同时指出,每个8B训练运行成本约为10万美元,限制了外部团队复现与消融能力。

标准基准掩盖了什么

MMLU衡量的是多项选择任务上的综合知识与推理表现,它并不直接测试模型能否从上下文中精确取回某个值,也不要求模型显式组合两个事实。宽泛的预训练数据可能提供大量浅层模式,使模型在MMLU上取得高分,却没有形成可组合的上下文算法。

论文报告了三项更具体的诊断结果:

  • 线性模型即使在标准基准上匹配或超过Transformer,也不能可靠地从仅500 Token的上下文中检索信息;
  • 在仅由数个短句构成的最简单两跳问题上,无论Transformer还是线性模型,都没有稳定超过随机猜测;
  • 小型合成环境反而能在低于100M参数时识别出后来在8B规模出现的架构差异。

这些结果挑战了以MMLU等静态基准替代能力诊断的做法。不过,当前采集材料没有给出检索任务的成功率、两跳题的具体生成规则、提示模板、评分器、随机种子或置信区间,因此“不能可靠完成”仍需结合完整论文和代码复核。合成任务也不是天然更公平:若研究者同时根据合成集调架构和调测试集,仍可能产生新的过拟合。

工程权衡与复现边界

| 设计选择 | 潜在收益 | 代价与风险 | |---|---|---| | 为Transformer加入Canon层 | 局部归纳偏置可能降低大规模预训练Token需求 | 增加局部算子和内存访问开销;推理延迟收益尚未披露 | | 采用GLA加Canon | 以更简单的线性混合匹配复杂状态模型 | 状态压缩可能损害精确复制、检索和可组合推理 | | Gated DeltaNet或Mamba2 | 更复杂的状态更新可能提高特定任务能力 | 扫描Kernel、状态显存与并行效率增加;摘要中的比较未显示其优势 | | 使用低秩输出门 | 潜在减少门控参数并增强正则化 | 低秩瓶颈可能限制通道选择,需报告不同秩的消融 | | 提前加入上下文推理样本 | 让检索和多跳能力在预训练早期获得监督信号 | 数据配方可能被模型记忆;必须使用隔离生成器与留出测试集 |

目前最需要核验的并非摘要中的方向性结论,而是实验控制是否公平:64次训练是否覆盖对称的超参数搜索预算;不同架构是否使用相同数据顺序、批次大小和优化器;结果是否跨随机种子稳定;MMLU之外是否报告检索和多跳任务的绝对成绩;Canon、GLA5、GDN2的精确实现及代码是否公开。当前材料仅包含arXiv v1摘要,未披露作者机构、绝对指标、方差、硬件配置和代码状态,因而应把30%节省视为待独立复现的高价值实验结果。

开发者落地建议

  1. 先建立可诊断的小型基线。 用不同随机种子生成检索、单跳和多跳任务,隔离生成器模板与评测样本;先用低于100M参数验证候选架构是否在合成任务上产生可重复差异,再决定是否投入8B训练。
  2. 控制调参预算。 在1.3B、100B tokens复现实验时,为Transformer、线性注意力及Canon变体分配相同规模的超参数搜索,并同时报告准确率—Token曲线。否则,所谓架构收益可能只是更充分的调参收益。
  3. 把上下文能力移入预训练数据。 若业务依赖长文档取数、工具调用或多事实组合,应从预训练早期加入可组合的上下文示例,并分别消融早期预训练、中期训练和后训练阶段,避免把数据配方效应误认为架构效应。
  4. 不要把Token节省直接换算成服务收益。 选型时需分别测量预填充吞吐、逐Token解码延迟、峰值显存、KV或递归状态占用及长上下文质量。30%的预训练Token节省不自动产生30%的线上成本下降。
  5. 建立双层评测矩阵。 MMLU等知识基准继续保留,同时加入精确检索、多跳组合、归纳推理和抗捷径测试;所有结果应报告绝对分数、方差、失败类型及不同上下文长度的变化曲线。
  6. 等待完整复现再替换生产架构。 对需要精确复制、超长上下文或工具状态维护的系统,递归状态架构必须先验证信息保真度;对以预训练成本为首要约束的团队,Canon层才值得进入同预算A/B试验。

结论

这项工作的价值不在于宣布线性注意力或Transformer的胜负,而在于用真实规模的64次预训练证明:架构差异可能被调参掩盖,也可能在MMLU高分下完全不可见。Canon层把局部Token混合重新带回架构比较中心,而小规模合成任务、精确检索和多跳评测则提供了比单一标准基准更接近真实能力的诊断路径。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-11-20)

—— 完 ——

主题标签: #Canon Layers #线性注意力 #预训练Token效率 #上下文学习 #合成评测

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…