智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #M3OPD-Reasoner #多模态推理 #同策略蒸馏 #GSPO #强化学习

M3OPD多教师同策略蒸馏:9B多模态推理配方全开源

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:M3OPD-Reasoner发布视觉语言模型后训练配方:以Qwen3.5-9B为起点,分别训练图像STEM、图像感知与视频三个GSPO教师,再用多教师同策略蒸馏把专家能力合并到单个学生。团队开放135万条SFT数据、19.3万条RLVR数据、训练代码和全部阶段检查点。论文在去污染后的21个基准上比较混合训练与分域训练,并在MOPD后追加MixRL。结果显示,两阶段流程可继续利用同一批提示且未出现能力坍塌;但绝对分数、方差、训练成本与许可证仍待核验。


核心结论

M3OPD-Reasoner 给出了一条可复现的多模态模型后训练链路:先以 Qwen3.5-9B 为共同底座训练图像 STEM、图像感知和视频三个领域教师,再通过多教师同策略蒸馏(Multi-Teacher On-Policy Distillation,MOPD)把分域能力合并到一个学生模型,最后追加 MixRL 强化学习。论文同时开放 M3OPD-SFT-1.35M、M3OPD-RL-193K、训练代码和所有阶段检查点。

其核心价值不是增加一个更大的视觉语言模型,而是把领域专家训练、策略内蒸馏和后续强化学习串成连续的数据与算力复用流程。论文报告的最佳路线是:直接从 Qwen3.5-9B 用 GSPO 训练领域教师,不做额外 SFT 预热;先完成 MOPD,再在同一批提示上运行 MixRL。

训练配方如何工作

  1. 构建领域教师:三个教师分别针对图像 STEM、图像感知和视频推理训练,教师均以 Qwen3.5-9B 为起点,使用 Group Sequence Policy Optimization(GSPO)优化。
  2. 执行多教师同策略蒸馏:学生针对当前提示生成自己的回答,相关领域教师再对这些学生轨迹提供监督信号。训练分布因此跟随学生当前策略,而不是只模仿静态教师答案。
  3. 继续 MixRL:MOPD 学生已经吸收了三个领域的能力,因而可作为更强策略重新生成轨迹。MixRL 即使继续使用相同提示,面对的也是更新后学生产生的新 on-policy 轨迹,而不是简单重复旧样本。
  4. 输出最终检查点:连续执行 MOPD 与 MixRL 后得到 M3OPD-Reasoner-9B,并保留教师、MOPD 学生和最终模型等阶段权重。

技术机制:为什么采用同策略蒸馏

静态 SFT 使用预先收集的高质量回答训练学生,但部署时模型一旦偏离示范轨迹,训练分布与实际生成分布便会分离。MOPD 让学生先生成当前策略下的轨迹,再由领域教师对相同轨迹提供纠偏信号,因此梯度更集中于学生当下容易犯错的位置。

概念上,蒸馏目标可写为:

L_OPD = E[x, y ~ pi_student][w(x) * L(pi_student, teacher_signal)]

其中,w(x) 根据领域选择对应教师,teacher_signal 是教师对学生轨迹的评分或分布约束。当前公开摘要没有披露该目标采用逐 Token、逐序列还是混合粒度,也没有给出教师信号聚合权重,实际实现仍需以公开代码为准。这种信息缺口会直接影响复现者对损失尺度、序列长度偏差和教师调用成本的判断。

GSPO 的关键思路是以整条生成序列近似策略比率,再将序列级优势作用到 Token 梯度,避免结果级奖励与 Token 级重要性比率之间的尺度错位。对视频和长推理链而言,这种粒度选择尤其重要:单次错误可能出现在数百个 Token 之后,过早进行 Token 级裁剪容易放大估计噪声。

MOPD 与 MixRL 的连续执行还带来一个重要区别:虽然数据提示相同,但 MOPD 改变了学生策略,后续 MixRL 实际面对的是新的生成分布。这解释了为什么同一批提示在第二阶段仍可能提供有效学习信号。不过,它也意味着必须防止模型对固定提示和可验证奖励过拟合。

工程权衡

  • 训练成本明显高于普通 SFT:系统需要维护三个领域教师,持续执行学生 rollout、教师信号计算和反向传播;视频样本还会放大视觉 Token 数量、解码成本与显存压力。论文同时开放 135 万条 SFT 和 19.3 万条 RLVR 数据,使完整复现属于多 GPU 工程,而非单卡实验。
  • 部署侧反而可能更简单:推理时只保留一个 9B 学生,无需同时常驻三个教师,也无需先做领域路由。若统一模型在非主领域出现明显回落,也可比较按请求路由到单一教师的成本。
  • 显存不能只按权重量估算:BF16 权重本身约需 18 GB 十进制容量,此外还要容纳视觉编码器、中间激活和 KV Cache。KV Cache 可近似表示为 2 × L × H_kv × d_head × T × B × bytes_per_element;视频帧数、分辨率、并发批次和 GQA 配置都会改变其占用。
  • 教师调用与长轨迹存在成本拐点:on-policy 蒸馏减少了教师生成示范序列的需要,但仍需教师对长回答打分或计算概率。序列越长,教师前向和 KV Cache 管理越昂贵,吞吐可能低于单纯离线蒸馏。
  • 直接 GSPO 优于 SFT 预热并不保证所有场景成立:当前实验认定直接 GSPO 教师是最佳配方,但不同视觉编码器、视频采样策略和奖励模型可能改变这一排序。分阶段预热虽然增加成本,也可能提高训练稳定性。

基准测试应如何解读

论文在 21 个图像 STEM、图像感知和视频推理基准上比较 MixSFT、MixRL、分域教师及 MOPD,并在训练前对评测集执行去污染,这是比单纯堆叠榜单更可靠的设计。作者报告,MOPD 学生接近各教师在本领域的表现,并在相同提示上平均超过混合训练基线;继续执行 MixRL 后仍未出现策略坍塌。

不过,当前材料没有给出各基准绝对分数、逐领域结果、随机种子方差、采样参数、生成预算和教师推理成本。因此,“接近教师”和“平均优于基线”还不能说明三个领域是否同时保住:某个领域的大幅提升可能掩盖另一领域的回落。后续复现应发布完整的教师域 × 学生域 × 评测域矩阵,并报告最差领域性能,而非只给跨任务平均值。视频评测若依赖自动裁判,还应加入人工抽检与裁判一致性分析。

开发者落地建议

  1. 先复现最小阶段链:从 Qwen3.5-9B 出发,依次验证三个 GSPO 教师、原始 MOPD 学生和追加 MixRL 的最终模型,分别记录 GPU 小时、Rollout Token 数与教师调用量。算力受限时,优先比较 MOPD 学生与最终版本,而不是只评测最终检查点。
  2. 按真实负载选择视觉预算:固定视频帧数、分辨率和最大生成长度,分别测试吞吐、TTFT、KV Cache 占用及长视频退化,避免用短样本基准外推生产表现。
  3. 统一评测协议:混合训练、MOPD 学生和最终模型应使用相同提示、温度、最大 Token 与工具权限;对每个领域至少运行多个随机种子,并公开逐题结果。
  4. 核对开放许可:虽然数据、代码和各阶段权重均宣称开放,商用前仍需检查代码许可证、模型许可证、训练数据来源与再分发条件,并确认视频和图像数据是否包含受限素材。
  5. 验证统一模型是否值得:将单一 M3OPD-Reasoner-9B 与“路由器加单一领域教师”对比。如果统一学生只带来有限收益,却增加明显多模态延迟,领域路由部署可能具有更高性价比;反之,单模型能显著简化扩缩容、监控与故障切换。

结论边界

M3OPD-Reasoner 展示了同策略多教师蒸馏在视觉语言模型中的可行性,并提供了一个少见地同时开放数据、训练代码和中间检查点的研究配方。当前证据更支持“方法与资源值得复现”,尚不足以证明最终模型在所有视觉任务上领先。绝对指标、训练账单、教师粒度、许可证和独立复现仍是判断其生产价值的关键。


消息来源:Hugging Face Daily Papers (2026-11-17)

—— 完 ——

主题标签: #M3OPD-Reasoner #多模态推理 #同策略蒸馏 #GSPO #强化学习

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…