智客 ZICQ
EN 登录 / 注册
智客前沿 开源AI #WeMM-Video #全模态视频理解 #混合推理 #稀疏MoE #开源多模态

WeMM-Video开源全模态视频模型,35B-A3B宣称刷新开源SOTA

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:WeMM-Video 面向音频增强的视频理解,统一文本、图像、音频与视频输入,提供非思考和显式分步思考两种模式。家族覆盖2B、4B、9B和35B-A3B,以约1.2万亿Token渐进预训练,并结合多教师OPD、抗重复MrDPO与专项RL后训练。论文在120余项基准上报告35B-A3B取得开源SOTA,9B超过Qwen3-Omni-30B-A3B-Instruct,且公开评测与复现流水线。绝对成绩、架构细节、许可证、时延和显存成本仍待核验。


核心发布

WeMM-Video 以同一模型家族接收文本、图像、音频和视频,并提供非思考指令模式与显式分步思考模式。家族包含2B、4B、9B和35B-A3B四个规格,覆盖本地小模型、单机工作站与高吞吐服务等不同部署档位。

| 版本 | 规模口径 | 选型建议 | |---|---|---| | 2B | 20亿参数级 | 适合端侧、低成本批处理及高并发轻量任务 | | 4B | 40亿参数级 | 在质量与资源之间提供更均衡的选择 | | 9B | 90亿参数级 | 适合单卡或量化部署,论文重点强调其参数效率 | | 35B-A3B | 总规模35B、A3B命名 | 适合服务端旗舰推理,但需核算全部专家权重与通信开销 |

按照稀疏MoE的常见命名惯例,A3B通常表示每个Token激活约3B参数,而总参数仍约为35B;确切专家数量、路由粒度和共享专家配置仍需以模型卡为准。

技术机制:从多模态输入到双模式推理

这类模型的关键并不是把视频帧、音频和文本简单拼接,而是让三类信息在时间轴和语义层面形成绑定:画面描述发生了什么,音频补充说话内容、语气及非语言线索,文本则承载问题、指令与推理约束。摘要没有披露视觉编码器、音频编码器、融合位置、时间采样策略和上下文长度,因此以下关键工程点仍待模型代码确认。

  • 时间对齐:视频需要按帧或时空块编码,音频需要切成带时间戳的片段。两者若采用不同采样窗口,即使文本推理正确,也可能出现声画错位。
  • 跨模态接地:模型必须把语音内容绑定到对应人物和画面事件,同时保留语速、停顿、情绪等信息;若部署时只做ASR转写,会丢掉大量副语言线索。
  • Token预算管理:视频帧数、分辨率、音频块长度共同决定输入规模。长视频很容易先撞上上下文上限,而不是生成上限;关键帧筛选、时空压缩和分段检索因此比单纯扩大上下文更重要。
  • 双模式推理:非思考模式直接生成答案,通常可减少推理Token和总时延;思考模式显式展开中间步骤,更适合需要组合音视频证据的复杂问题,但会增加输出长度、成本及错误链条被暴露的风险。混合思考不能自动等同于自动路由,摘要没有说明是否内置任务路由器。

从任务覆盖看,通用音频、纯静音视频、图像和纯文本基准用于检查各模态是否退化,真正的音视频联合任务则需要额外控制变量,才能确认模型是在听、看和绑定,而不是依赖字幕或语言先验。

训练与后训练

论文称模型使用约1.2万亿Token的多模态语料进行渐进预训练。渐进训练通常用于降低新模态对既有语言能力的干扰,但摘要没有给出各阶段的数据构成、模态比例、课程顺序及是否发生能力遗忘。

后训练管线包含多教师OPD、抗重复MrDPO和专项RL。按摘要给出的定位,多教师OPD用于汇聚不同教师的互补监督;抗重复MrDPO针对长回答或推理链中的循环复述;专项RL则针对特定能力继续优化。不过,材料没有提供目标函数、教师模型清单、奖励设计、采样策略或消融结果,不能仅凭方法名称判断每项改动的实际贡献。

1.2万亿Token也带来两个评测风险:一是训练数据与公开基准的去污染,二是不同语言、音频类型和视频场景的数据配比。后者会直接影响中文方言、弱光视频、多人交谈及低资源场景的泛化能力。

工程权衡与显存成本

| 设计选择 | 获得的收益 | 需要承担的成本或风险 | |---|---|---| | 统一多模态模型 | 减少ASR、视觉模型和LLM之间的接口与误差传递 | 任一模态数据不足都可能拖累共享主干,升级耦合也更明显 | | 非思考与思考双模式 | 可在响应成本和复杂推理质量之间切换 | 两种模式可能出现能力与输出风格不一致 | | 35B-A3B稀疏架构 | 每Token计算量接近较小模型,适合高吞吐服务 | 全部专家权重仍需驻留或卸载,Expert Parallel会引入All-to-All通信 | | 1.2万亿Token预训练 | 扩大语义、视觉和听觉覆盖 | 训练成本、数据治理、许可与去污染难度显著上升 | | 长视频直接输入 | 保留完整上下文并支持全局推理 | 帧数、音频块和KV Cache容易失控,端到端首包时延上升 |

权重显存可粗略估算为 M_weight ≈ P_total × b,其中 P_total 是总参数量,b 是每个参数的字节数。BF16下,9B模型仅权重理论值约为18GB,35B约为70GB;4-bit理论值约为9GB和17.5GB,但还需加上量化元数据、视觉与音频编码器、激活值及运行时开销。对采用MoE的35B-A3B而言,激活参数少主要降低矩阵计算量,并不自动降低权重存储量。

对于分组查询注意力,单序列KV Cache可近似为 M_KV ≈ 2 × L × S × H_kv × d_head × b。其中 L 为层数,S 为总Token数,H_kv 为KV头数。视频分辨率、帧率和音频分段一旦提高,S 会迅速增长;生产部署应同时评估Paged KV Cache、分块预填充和视觉Token压缩,而不能只看模型参数规模。

性能主张与评测缺口

论文报告WeMM-Video-35B-A3B在音视频理解与推理上建立新的开源SOTA,明显超过Qwen3.5-Omni-Flash和Seed2.0-Mini-0428,并缩小与Gemini-3.0-Flash的差距;9B版本则超过Qwen3-Omni-30B-A3B-Instruct。9B对30B-A3B的比较尤其值得关注,但不能只按总参数量解释效率:后者同样可能只激活约3B参数,两者的实际FLOPs、显存、视觉编码器和推理框架开销仍可能不同。

当前材料没有给出绝对分数、重复运行方差、置信区间、测试集版本、提示模板、采样参数、思考预算和裁判模型。闭源基线如果通过持续变化的API或不同推理预算运行,版本固定与复现尤其困难。评测覆盖120余项基准说明覆盖面较广,但不能替代任务难度加权、污染检查和独立复核。

更严格的复现应统一帧率、分辨率、音频采样率、最大视频长度和上下文窗口,并补充四类消融:仅音频、仅视频、去字幕音频、随机打乱声画。加入时间定位、弱对齐干扰、长视频和多人对话任务,才能排除模型依赖字幕、语言先验或单帧采样取巧的可能。

开发者落地与部署

  1. 先按显存而非榜单选型:单卡或消费级设备优先测试2B、4B和量化9B;35B-A3B需要为完整专家权重、KV Cache及多模态缓冲预留空间。若将专家卸载至CPU或NVMe,激活参数少带来的计算收益可能被PCIe和存储延迟抵消。
  2. 固定音视频预处理:使用统一的时间戳、帧率、音频采样率与声道策略,避免各调用方自行转码。只保留ASR字幕会失去模型原生音频能力的测试意义。
  3. 先验证运行时兼容性:部署前确认 Transformers、vLLM 或 SGLang 是否支持具体架构、处理器、多模态模板、Flash Attention、量化和张量并行。A3B模型还需验证专家并行拓扑与All-to-All网络开销。
  4. 把质量与成本放进同一张表:至少记录任务准确率、声画绑定错误率、首Token时延、端到端时延、吞吐、峰值显存和每任务成本,并让所有基线在相同硬件、精度和解码参数下运行。
  5. 以外部路由利用双模式:常规问答走非思考模式,复杂音视频推理再切到思考模式;同时设置最大视频时长、分段召回、时间戳校验和低置信度回退,避免长上下文掩盖定位错误。
  6. 上线前核对许可与复现材料:公开权重不等于许可证边界已经明确,应检查模型权重、训练代码、评测脚本和数据集分别采用何种许可,并验证复现流水线能否重建论文中的主要结果。

工程判断

WeMM-Video 的价值在于提供覆盖多个尺寸档位的开源音视频模型家族、双模式推理接口以及评测复现管线,而非只发布一组权重。论文报告的开源SOTA和9B参数效率值得重点复现,但现阶段仍缺绝对成绩、模型内部结构、许可条款与生产性能数据;更稳妥的结论是,它为开放音视频理解提供了值得测试的新基线,而不是已经完成工程验证的绝对领先方案。


消息来源:Hugging Face Daily Papers (2026-11-19)

—— 完 ——

主题标签: #WeMM-Video #全模态视频理解 #混合推理 #稀疏MoE #开源多模态

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…