OVHcloud公布Olala mini:1B激活参数混合架构瞄准8GB端侧
文 / Mr.Xu 社区投稿
发布时间: · 2 次阅读
摘要:OVHcloud公布Olala mini 7A1B:模型总参数70亿,标称每Token激活10亿参数,并在每层设置256个专家,融合Differential-TPA与Mamba-3。官方计划以Apache 2.0许可在Hugging Face开放,初始上下文3.2万;其称模型可在8GB显存设备运行,并在RTX A4500达到160 token/s、CPU达到50 token/s。不过,BF16全量权重理论占用已约14GB,8GB运行很可能依赖未披露的量化或专家卸载;A4500本身配备24GB显存,速度与内存数字仍需在统一精度和运行时下复现。
OVHcloud公布的Olala mini 7A1B把7B总参数、约1B激活参数、每层256个专家以及Differential-TPA—Mamba-3混合序列层组合在一起,并计划以Apache 2.0许可在Hugging Face发布。现有材料足以判断其架构方向,却不足以确认8GB显存与所列速度能够在相同精度、运行时和提示长度下同时复现。
发布范围与已确认事实
这则消息目前属于模型发布公告,而不是已经可下载的稳定版本。原文使用“will be available”描述开放计划,当前可确认的信息包括:
- 模型总参数量为70亿,按7A1B命名及MoE通常口径,标称每个Token激活约10亿参数,激活比例约为总参数的14.3%。
- 每个MoE层配置256个专家,但Top-K路由值、共享专家数量、专家是否带重复权重以及层数均未披露。
- 序列层融合Differential-TPA与Mamba-3,权重格式为BF16。
- 当前上下文长度为32K Token。
- OVHcloud计划在Hugging Face提供模型,并采用Apache 2.0许可。
需要注意,“计划开放权重”并不自动等于完整开放研究栈。即使最终采用Apache 2.0,仍需检查是否同时发布推理代码、训练代码、模型配置、Tokenizer、数据配方、评测脚本与训练日志。
MoE机制:降低计算量不等于降低权重占用
Olala mini的核心计算假设是稀疏专家激活。路由网络根据当前Token选择少量专家,其余专家在前向传播中不参与矩阵乘法。这能显著减少每Token的权重计算量,但会增加路由、负载均衡和专家调度开销。
若忽略注意力、状态空间扫描和路由开销,稠密矩阵乘法的粗略下界可写为:
每Token FLOPs ≈ 2 × 激活参数量 ≈ 2 GFLOP
按这一数量级估算,160 token/s对应至少约320 GFLOP/s的乘加吞吐,CPU上的50 token/s则约为100 GFLOP/s。该计算只能用于判断算力量级,不能替代实测,因为真实成本还取决于专家搬运、注意力分支、Mamba扫描、内存带宽和框架调度。
256个专家属于细粒度MoE配置,理论上能提高路由粒度并分散专家负载,但也带来两个工程问题:训练阶段可能需要all-to-all通信;推理阶段若专家分布在CPU和GPU之间,按Token装载专家容易让PCIe传输取代矩阵计算成为瓶颈。不同Token还会路由到不同专家,因此即使每个Token只激活1B参数,一条长请求处理期间也可能触及大部分专家。
显存审计:8GB结论仍缺少关键实现细节
7B参数采用BF16时,仅权重的理论占用约为:
7 × 10^9 × 2 bytes = 14 GB ≈ 13.0 GiB
这还没有计入运行时、激活值、注意力KV Cache、Mamba递归状态和临时工作区。MoE路由只减少参与计算的参数,不会自动删除未激活专家的存储。因此,要将完整模型放入8GB显存,至少需要一种额外机制,例如权重量化、分层加载、CPU卸载或主机内存分页。
若采用4Bit量化,7B参数的原始权重理论上可降至约3.5GB,但量化元数据、激活缓存及质量损失仍需单独计算。若通过CPU卸载实现,GPU虽可只保留部分专家,却会增加专家传输延迟;这类方案在批量较小时尤其容易出现低GPU利用率。原文没有说明Olala mini采用哪一种路径。
Mamba-3路径通常使用固定大小的递归状态,不必像稠密注意力那样为全部历史Token保存同等规模的KV Cache,但Differential-TPA分支是否仍保存全局键值、状态维度多大、上下文增长后内存如何变化,当前都没有数据。因此,32K上下文不能直接等同于低显存运行。
Differential-TPA与Mamba-3混合层的实际意义
Mamba-3属于选择性状态空间模型路线,其核心价值是用固定大小的递归状态承接历史信息,并在序列扫描中保持对长序列更友好的计算与存储特征。如果Differential-TPA负责基于内容差异的注意力比较,Mamba-3负责压缩递进状态,两者组合可能同时覆盖精确检索和流式状态更新。
不过,这只是架构层面的合理分工,不是对Olala mini实际实现的确认。公告摘要没有给出Differential-TPA的计算公式、感受野、状态维度、并行方式,也没有说明两个分支是串联、并联还是门控融合。因而无法确认混合层的端到端复杂度是否线性、注意力分支是否仍具有二次复杂度,或混合后相对单一架构究竟带来多少质量与延迟收益。
从部署角度看,混合架构往往比纯Transformer或纯SSM更难优化:不同分支可能需要独立内核,CPU回退尤其依赖具体实现。原文所称CPU达到50 token/s,需要确认处理器型号、线程数、指令集、BF16原生支持情况及是否启用了量化。
性能数字应如何审计
| 官方主张 | 技术含义 | 当前缺失的验证条件 | |---|---|---| | 最低8GB显存可运行 | 模型面向消费级GPU或混合卸载 | GPU型号、量化格式、专家放置策略、峰值显存及是否发生PCIe换页 | | RTX A4500达到160 token/s | 单机端侧解码吞吐具有吸引力 | Batch大小、提示与输出长度、运行时、编译参数、首Token延迟和精度 | | CPU达到50 token/s | 无独立GPU时仍可提供可用交互速度 | CPU型号、内存通道、线程配置、功耗、持续吞吐和是否使用量化 | | 32K上下文 | 可覆盖较长文档与代码库任务 | 长上下文检索准确率、KV或递归状态占用及不同长度下的吞吐衰减 |
RTX A4500配备24GB显存,因此160 token/s并不直接证明模型可在8GB设备上维持同等速度;这可能是两个不同部署配置的结果。类似地,50 token/s若只代表短提示、批量为1且经过充分预热,未必能外推到长上下文或多并发服务。
本次公告也没有提供困惑度、指令遵循、代码生成、工具调用或长上下文检索等质量指标。1B激活参数可以降低算力,却不能证明其能力密度优于同预算的稠密3B至4B模型;256专家也可能产生路由倾斜与尾部专家拥塞。
开源计划与工程权衡
Apache 2.0若最终完整覆盖权重与代码,将有利于商业部署和二次开发,但开放时间、训练数据披露程度及第三方推理框架支持仍待确认。Olala mini的工程价值主要取决于三个指标能否同时成立:低显存驻留、可持续吞吐以及可接受的任务质量。
- 稀疏MoE以更复杂的路由和调度换取更低计算量,适合吞吐优先场景,却不一定适合极低延迟的小批量请求。
- Mamba-3可降低递归状态的内存增长,但混合注意力分支可能重新引入KV Cache成本。
- BF16有利于保持数值稳定性,4Bit量化则能显著降低权重占用,却需要逐层校准并重新验证长上下文与指令遵循能力。
- CPU回退提高了部署弹性,但50 token/s的可持续性、能耗和并发能力不能由单次峰值代替。
开发者落地建议
- 等待并核验发布资产。 检查Hugging Face仓库是否包含完整权重、配置、Tokenizer、许可证文本、推理代码、模型卡和校验值,并确认Apache 2.0覆盖哪些文件。
- 复现官方基线。 固定GPU、CPU、驱动、推理框架、编译选项、Batch、提示长度、输出长度和采样参数,分别记录首Token延迟、稳态解码速度、峰值显存、主机内存与PCIe传输量。
- 执行上下文扫描。 至少在2K、8K、16K和32K长度下测量预填充时间、生成速度与内存斜率,避免只用短提示验证32K能力。
- 比较精度与量化损失。 将BF16、8Bit和4Bit版本置于同一提示集与贪心解码条件下比较,并覆盖代码、数学、工具调用和长文档检索。
- 验证专家卸载策略。 若依赖CPU卸载,应记录专家换入换出、缓存命中率和长尾延迟;高并发场景还需评估专家容量限制及路由不均衡。
- 以生产指标而非峰值token/s选型。 同时考察P50与P95延迟、每瓦吞吐、并发请求数、内存占用和任务完成率。
Olala mini 7A1B展示了一个清晰方向:用细粒度MoE控制每Token计算量,再用Mamba-3承担部分长序列状态,从而把语言模型推进到8GB级设备。但官方速度数字与BF16权重占用之间尚缺部署细节,8GB结论尤其需要量化或卸载方案佐证。它值得进入本地推理选型清单,但在权重、质量评测和复现数据齐备前,还不能替代独立压测。
—— 完 ——消息来源:Reddit r/LocalLLaMA (2026-11-17)
主题标签: #OVHcloud #Olala mini #MoE #Mamba-3 #端侧推理
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区