智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #Maxwell-V1.0-Flash #MoE架构 #块稀疏注意力 #256K长上下文 #模型发布

Maxwell-V1.0-Flash发布:35B MoE以3B激活参数支持256K上下文

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 2 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Maxwell Team 发布 Maxwell-V1.0-Flash:35B 总参数、每 Token 激活 3B(均不含嵌入层),面向推理、Agent 与 256K 长上下文。核心 MBSA 块稀疏注意力以固定前缀、本地块和学习索引器选出的远程块,将每组主注意力限制在 4096 Token;官方称 256K 下内核较稠密 GQA 快 6.7 倍。模型同时采用细粒度 MoE、多残差流超连接、26T Token 预训练及 RL 蒸馏。6.7 倍并非端到端吞吐,质量评测、许可证、显存需求和完整历史 KV 占用仍待核验。


架构核心:MBSA把长上下文计算压入固定范围

Maxwell-V1.0-Flash采用35B总参数、每Token激活3B的细粒度MoE骨干,目标是兼顾推理、Agent任务和256K Token长上下文。其关键设计不是单纯扩大KV Cache,而是用Maxwell Block Sparse Attention(MBSA)限制每个KV组实际参与主注意力的历史范围。

在256K上下文下,序列长度为262,144。稠密GQA虽然通过共享K/V头降低缓存和投影开销,但每个查询仍需与完整历史交互,理想化的逐层注意力计算量仍接近O(S²d_head)。MBSA按128 Token分块,保留8个前缀块、8个本地块,再由学习式索引器选择最多16个远程块,总计32块,即每组最多4,096 Token参与主注意力。理想化地,注意力交互量可从O(S²d_head)降至O(SBd_head),其中B=4,096。

远程块选择让模型仍能访问较早历史,但索引器的漏检或误选会成为新的召回瓶颈。尤其需要区分两件事:官方称完整历史KV Cache仍然保留,因此MBSA主要压缩的是注意力计算跨度,并没有把KV缓存内存降成常数。

细粒度MoE与多残差流

3B激活参数意味着每个Token只执行部分路由专家,但不能将其等同于3B权重的存储成本或完整FLOPs。全部35B权重仍需装入内存或分布到多卡,此外还要计入路由、注意力、始终激活的共享专家、Embedding及通信开销。

细粒度MoE以更多小专家换取更细的能力分工,共享专家则提供稳定的基础计算路径。动态路由修正偏置与序列级负载均衡损失用于抑制专家坍缩和热点路由,但公开信息没有给出专家数量、Top-K配置、负载方差或通信占比。在多GPU部署中,专家并行通常依赖All-to-All通信,专家越细,调度和内核启动开销未必越低。

Manifold-Constrained Hyper-Connections则引入多条残差流,并通过输入相关的学习式聚合与受约束混合扩大信息通路。模型卡称这一设计不增加注意力或前馈层的额外求值,实际代价主要集中在聚合控制本身;约束所采用的数学形式及额外参数规模仍需结合代码核验。

训练与后训练配方

模型使用约26T Token多语言数据预训练,并在多数隐藏权重矩阵上采用Muon优化器。训练先以稠密注意力建立基础能力,到128K阶段再引入块稀疏注意力;在此之前,学习式索引器先针对完整稠密历史进行预热,随后与骨干联合训练。这一课程设计可以降低稀疏索引器冷启动的不稳定性,但不能自动消除从稠密到稀疏切换时可能出现的损失波动或质量退化。

长上下文训练从4K逐阶段扩展至256K,Tokenizer则针对多语言及泰语、老挝语、缅甸语、高棉语和 Shan 等低资源东南亚语言采用脚本感知设计。真正需要比较的是各语言的Token压缩率、每字符Token数、嵌入质量及下游准确率,而不只是词表规模。

后训练分为通用、推理和Agent能力的全领域SFT,以及面向高难推理与Agent轨迹的进一步训练。随后,通用任务、可验证推理和搜索、终端调用、函数调用、软件工程等Agent任务分别进行强化学习,最后通过多教师在线策略蒸馏合并:教师对学生自己生成的响应提供监督,从而减少纯离线教师数据与学生实际采样分布不一致的问题。其代价是多教师推理成本、奖励冲突以及学生对多个专家策略的协调难度。

性能证据:6.7倍是内核口径

| 公开信息 | 技术含义 | 尚缺证据 | |---|---|---| | 256K下MBSA内核较稠密GQA快6.7倍 | 稀疏注意力内核的局部加速 | 硬件、精度、批量、预热方式、端到端吞吐与质量一致性 | | 35B总参数、每Token激活3B | 降低专家前向计算量 | 专家数量、Top-K、实测FLOPs、显存和通信成本 | | 支持256K上下文 | 接口和训练目标覆盖长序列 | 长上下文准确率、跨段推理与信息召回退化曲线 | | 约26T Token预训练 | 训练数据规模较大 | 数据构成、污染审计、训练算力与消融结果 |

MBSA把注意力跨度缩小至完整历史的约1/64,但官方只报告6.7倍内核加速,二者并不矛盾:注意力并非端到端推理的全部成本,索引、缓存读取、归约、内存带宽和调度开销仍会限制加速比例。更关键的是,内核更快不等于回答质量不变,远程块漏选仍可能造成关键证据缺失。

当前材料没有给出统一评测表,也未披露MMLU、GPQA、AIME、长上下文检索、代码生成或Agent成功率等可比结果。因此无法判断基线是否等算力、提示模板是否一致、采样参数是否可比,也无法验证256K上下文是否只是长度达标而非有效推理能力达标。

工程权衡:计算下降不等于显存下降

首先,MBSA降低主注意力的Token交互量,但完整历史KV Cache仍随序列长度线性增长。其次,细粒度MoE降低每个Token的专家计算量,却保留全部权重驻留、专家路由和跨卡通信成本。再次,远程块索引把稠密注意力的召回问题转化为稀疏检索问题,索引器本身因此成为关键可靠性组件。最后,在线策略蒸馏通常比单独保留一个RL分支更平滑,但需要额外教师推理和多轮轨迹采样。

KV Cache的粗略下界可写为M_KV ≈ 2 × L × H_KV × d_head × S × b,其中L为层数,H_KV为KV头数,d_head为头维度,S为序列长度,b为每元素字节数,且按每序列、每批次项计算。例如若模型采用32层、8个KV头、128维头、BF16缓存,在256K上下文下约为32 GiB/序列;实际数字会随GQA配置变化,批量请求还会继续放大占用。若运行时支持KV Cache量化,缓存可继续下降,但原模型卡未说明相关支持情况。

部署与验收建议

部署前首先应核验模型卡、Tokenizer、配置文件与GitHub实现的完整性,并确认权重许可证、训练数据说明及商用限制。仅凭模型卡中的35B/3B参数不足以判断单卡可行性:按非Embedding参数粗算,BF16、INT8和4位权重分别约占70GB、35GB和17.5GB,尚未计入Embedding、量化元数据、运行时缓冲和KV Cache。

其次,需要确认目标推理框架是否真正接入MBSA内核。加载Hugging Face权重并不会自动启用稀疏执行路径;若缺少对应算子或自定义内核,模型可能退化为普通实现。256K生产部署通常还需要张量并行、KV分片,并在多卡场景评估专家并行的网络拓扑,而不能只依据单卡权重占用做容量规划。

验收测试应覆盖4K、32K、128K和256K四档长度,并分别记录首Token延迟、每Token延迟、并发吞吐、峰值显存、每Token能耗和长上下文质量。质量侧至少应加入长程检索、跨段推理、数学与代码任务,以及函数调用、终端操作和软件工程轨迹;同时在相同硬件、精度和批量条件下对比稠密GQA,确认速度收益没有以召回准确率下降为代价。

对于Agent场景,本地模型应运行在最小权限沙箱中,限制网络出口、凭证挂载和命令执行范围,并对外发操作增加结构化校验与人工审批。长上下文支持并不会自动消除工具调用越权、提示注入或错误轨迹累积。


消息来源:Reddit r/LocalLLaMA (2026-11-17)

—— 完 ——

主题标签: #Maxwell-V1.0-Flash #MoE架构 #块稀疏注意力 #256K长上下文 #模型发布

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…