K2-Horizon六模型开源:MoVA稀疏化与Uno扩散解码提速
摘要:IFM 发布 K2-Horizon 六模型开源家族,覆盖 0.9B 稠密模型至 375B-A23B MoE,并按 LLM360 标准开放预训练数据、各阶段检查点、训练日志、评测与基础设施代码。其 36B-A4B 模型以 MoVA 将 MoE 引入注意力值投影,配合 softplus 门控,在同数据条件下接近 32B 稠密模型;Uno 扩散适配器则无需独立草稿模型即可将解码提速最高 2.2 倍。真正价值不只在权重,而是把约 22 万亿 Token 语料、约 10 万亿合成 Token 与完整生产流水线纳入可复现实验。不过,具体基准分数、许可证、硬件成本和下载完整性仍需核验。
K2-Horizon 并非一次单模型权重发布,而是 IFM 面向通用推理与智能体任务推出的六模型开放家族。模型规模从 0.9B 稠密模型延伸至 375B-A23B MoE,其中 A23B 表示每个 token 标称激活约 23B 参数。更关键的是,作者宣称按 LLM360 的开放定义公开预训练数据、各训练阶段中间检查点、日志、评测资产、xLLM 训练框架和 RL360 强化学习栈,而非只交付最终权重。
发布范围与开放资产
六款模型覆盖小型稠密架构与大规模稀疏架构,其中 36B-A4B 是 MoVA、softplus attention gating 和 Uno 的集中验证对象。四个模型共享同一套 22T-token 预训练语料与训练配方,便于在数据尽量一致的条件下研究模型规模与稀疏度变化。作者披露的数据管线还生成了约 10T 合成预训练 Token,说明合成数据在此次训练中并非少量后期增强,而是构成大规模预训练语料的重要组成部分。
开放内容覆盖模型权重、阶段检查点、预训练数据、训练日志、评测代码与 xLLM、RL360 等基础设施。其研究价值在于把通常被省略的中间训练过程暴露出来,使研究者可以检查数据配方、训练轨迹与最终模型之间的关系,而不只是复现一次最终推理。
MoVA:将 MoE 引入注意力值投影
标准注意力可写为:
Attention(Q, K, V) = softmax(QK^T / sqrt(d_h))V
常规 MoE 通常把专家放在 FFN 层,通过路由器为 token 选择少量参数专家。MoVA 改变了这一位置:它把注意力中的值投影本身专家化。概念上,系统会针对不同专家计算不同的值表示:
V_e = W_e^V x
V = sum_e g_e(x)V_e
再由注意力权重聚合这些值。这样,不同 token 不仅能选择不同的 FFN 专家,还能使用不同的值子空间,增加条件化表示容量,同时把每 token 的计算量约束在少量激活专家上。具体路由、归一化和负载均衡方式仍需以论文正文为准。
softplus attention gating 提供了另一项结构变化。其典型形式为:
softplus(z) = log(1 + exp(z))
该函数把门控分数映射为平滑、非负的连续权重;若实现同时采用 top-k,只有被选中的专家真正参与前向计算。相比离散硬门控,连续门控更容易进行梯度优化,但其理论收益是否来自平滑性、表达自由度还是特定参数化,仍需消融实验确认。
MoVA 不会消除标准注意力的序列长度二次项。注意力分数计算仍大致随 S^2 增长,MoE 反而引入路由、专家选择及可能的 All-to-All 通信开销。训练侧通常还需要负载均衡约束、专家容量控制与路由稳定性监控;推理侧则要防止热门专家导致 GPU 空泡。36B-A4B 在同数据条件下接近 32B 稠密模型,是有价值的受控证据,但摘要未披露任务集合、统计方差以及 MoVA 和门控各自的贡献。
Uno:无独立草稿模型的扩散解码
Uno 通过 lossless diffusion adapters 加速自回归解码。作者报告其最高可获得 2.2 倍速度提升,并且不需要单独部署草稿模型。工程上可将其理解为:适配器利用当前上下文提出一段未来 Token 候选,再由目标模型对候选进行校验或并行确认,从而一次推进多个 Token,缩短串行解码链。
这条路线的主要收益是减少独立草稿模型的权重、显存和运维成本。但 2.2 倍并不是仅由适配器结构决定的必然结果:候选接受率、目标模型验证成本、批大小、首 Token 延迟和尾延迟都会影响端到端收益。论文使用 lossless 描述输出无损,工程复现时还需确认其严格含义是 Token 序列完全一致、采样分布保持,还是仅指任务质量不下降;若适配器、采样器或接受规则不同,结果可能不再无损。
性能证据与评测边界
当前摘要给出三类主要证据:
| 证据 | 可以支持的结论 | 暂时不能推出的结论 | |---|---|---| | 36B-A4B 与同数据训练的 32B 稠密模型接近 | 稀疏值路径可能在显著减少激活计算时保留质量 | 不能证明所有任务等价,也不能单独归因于 MoVA 或 softplus 门控 | | 六模型在智能体和编码基准上领先或接近同规模开放模型 | 作者报告了有竞争力的结果 | 缺少具体分数、基线版本、提示模板、工具环境、采样预算与误差区间 | | 四个模型共享 22T-token 语料与配方 | 为规模扩展和稀疏度研究提供较干净的对照 | 合成数据比例、训练顺序和语料混合仍可能成为混淆变量 | | Uno 最高加速 2.2 倍 | 提供扩散式解码的工程潜力信号 | 缺少接受率、硬件、批量、吞吐与尾延迟数据 |
36B-A4B 的名义激活参数为 4B,而 32B 稠密模型约为 32B,单纯按参数相除接近八分之一;作者所称七分之一可能采用了不同的有效参数统计口径,部署前应核对 FLOPs、路由成功率及共享参数的计算方式。
智能体与编码评测尤其容易受工具框架、pass@k、重试次数、采样温度、Judge 模型和上下文构造影响。Hugging Face Daily Papers 的收录属于论文传播渠道,不等同于独立复现或同行评审。完整检查点、日志和评测代码的公开,使后续消融成为可能,但目前还不能仅凭摘要确认榜单优势是否可迁移到真实生产任务。
完全开放不等于已经可复现
此次发布最稀缺的内容不是单一权重文件,而是从数据生成、预训练、检查点选择到强化学习的生产链条。xLLM 提供稠密与 MoE 训练实现,RL360 提供强化学习栈,22T-token 语料和阶段检查点则让研究者可以定位训练行为变化。
不过,要达到严格意义上的可复现,仍需逐项核验:
- 模型、数据、代码与训练日志分别采用何种许可证,商用和再分发限制是否一致;
- 所有检查点、数据分片和代码提交是否带哈希、版本号与可机器校验的清单;
- 预训练数据的来源、许可、个人信息处理、去重方法和污染检查是否完整;
- 合成 Token 的教师模型、生成参数、过滤规则、去重流程及混合比例是否可重建;
- CUDA、编译器、通信库、随机种子和分布式拓扑能否支持接近确定性的训练;
- 完整训练所需的 GPU 数量、Token 数量、能耗与货币成本是否被公开。
如果上述资产均可下载并带有清晰许可,K2-Horizon 的价值将明显高于一次常规权重发布;它能成为研究稀疏注意力、合成数据和开放强化学习栈的公共实验平台。
显存、吞吐与部署权衡
MoE 的激活参数控制每 token 计算量,却不会自动降低所有专家权重的常驻显存。按裸权重粗略估算:
| 模型 | BF16 理论权重体积 | 4-bit 理论权重体积 | 部署含义 | |---|---:|---:|---| | 0.9B 稠密 | 约 1.8 GB | 约 0.45 GB | 适合本地开发、端侧验证和低成本流水线测试 | | 36B-A4B | 约 72 GB | 约 18 GB | 量化后可能进入单卡或紧凑多卡环境,但需预留 KV Cache 与运行时空间 | | 375B-A23B | 约 750 GB | 约 187.5 GB | 通常需要多 GPU 分片、专家并行或分层卸载 |
这些数字仅是参数存储的理论值,不包含量化元数据、激活、路由缓冲区和 KV Cache。标准 KV Cache 的量级可粗略写成 2 × L × S × H_kv × d_head × bytes;如果模型采用 GQA 或 MQA,实际占用会下降,但摘要没有披露相关配置。MoE 活跃参数少,也不代表上下文缓存更小。
吞吐与延迟同样存在冲突。专家并行在大批量下可提高 GEMM 利用率,却会引入 token dispatch、All-to-All 和负载不均;低并发请求更关心专家选择、通信与卸载延迟。专家卸载可减少显存压力,但会把权重搬运成本加入每个 token 的关键路径。Uno 主要缩短解码调用链,不会消除长上下文的 KV Cache 压力,也不必然改善首 Token 延迟。
开发者落地建议
- 先做制品审计:核对六个模型的权重、加载器、Tokenizer、许可证、上下文长度、量化配置和数据清单,避免只依据模型卡部署。
- 按规模分层评测:用 0.9B 验证工具调用、模板和数据管线,再以 36B-A4B 对照同规模稠密模型,最后在集群环境评估 375B-A23B;不要跨硬件直接比较官方加速数字。
- 拆解性能指标:分别记录 TTFT、prefill tokens/s、decode tokens/s、p50/p99 延迟、峰值显存、专家负载偏差和 KV Cache 占用。
- 验证 Uno 的无损边界:在贪心与随机采样下比较原模型和适配器版本的 Token 序列、logits、任务分数及拒绝率,并记录候选接受率和验证开销。
- 复现关键对照:利用四个共享 22T-token 配方的模型复现规模曲线,分别消融 MoVA、softplus 门控、激活参数和合成数据比例,避免把数据规模收益误判为架构收益。
- 生产环境保留回退路径:智能体任务应加入工具失败恢复、上下文截断、敏感操作审批和独立评测,不能让模型榜单表现替代运行时安全控制。
K2-Horizon 的核心突破是把条件化 MoE 引入注意力值路径,并以扩散适配器探索更高效的并行解码;更具长期价值的事件,则是 IFM 尝试开放从数据到训练栈的完整生产链。若制品、许可证和评测数据经独立核验,这一发布有望成为开放模型研究与 MoE 工程的重要公共基线。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-16)
主题标签: #K2-Horizon #MoE架构 #MoVA注意力 #扩散解码 #开放训练栈
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区