MSALab-PKU发布Open-o3-Video-v2：革新视频推理与证据获取技术

摘要：MSALab-PKU推出Open-o3-Video-v2模型，通过构建STGR-v2-CoT135K和STGR-v2-RL-13K数据集，并引入Clue-Seek GRPO（CS-GRPO）强化学习算法，实现了视频推理过程的主动证据获取与对象级验证。该模型在V-STaR基准测试中表现优异，显著提升了视频理解、长视频推理和时间定位任务的准确性，展现了其在复杂视频任务中的巨大潜力。

---

技术机制剖析

Open-o3-Video-v2通过以下核心机制革新了视频推理技术：

1. 主动证据获取：模型能够识别推理过程中缺失的信息，并通过工具调用获取额外观察数据，从而确保推理的完整性。
2. 对象级验证：通过嵌入时间戳和对象级边界框，模型能够对推理轨迹中的关键对象和时刻进行验证，提升了推理的准确性。
3. Clue-Seek GRPO（CS-GRPO）：这是一种新型强化学习算法，通过跟踪工具调用对累积证据的影响，奖励线索覆盖率和逐步收益，同时惩罚过度、重复或无信息的检索行为。

工程权衡与实测表现

• 数据集构建：为了支持上述机制，研究团队构建了STGR-v2-CoT135K和STGR-v2-RL-13K数据集，分别用于多轮证据驱动的推理轨迹和强化学习训练。这两个数据集的规模和质量对模型的性能提升起到了关键作用。
• 性能提升：在V-STaR基准测试中，Open-o3-Video-v2-4B相较于其Qwen3-VL-4B骨干模型，在mAM和mLGM指标上分别提升了8.5%和12.6%。此外，该模型在一般视频理解、长视频推理和时间定位任务中也表现出色，展示了其在跨任务场景中的泛化能力。
• 权衡分析：尽管模型在性能上取得了显著提升，但主动证据获取和对象级验证机制也带来了额外的计算开销和延迟。因此，在实际应用中需要根据任务需求进行权衡，例如在实时性要求较高的场景中，可能需要简化证据获取流程或优化推理路径。

开发者落地与部署建议

1. 数据准备：开发者应充分利用STGR-v2-CoT135K和STGR-v2-RL-13K数据集进行模型微调和训练，以充分发挥其性能优势。
2. 推理优化：针对计算资源有限的应用场景，建议采用量化技术或知识蒸馏方法，以降低模型推理延迟和资源消耗。
3. 工具集成：由于模型依赖于工具调用获取额外证据，开发者需要确保工具接口的稳定性和响应速度，以避免推理过程中的延迟或错误。
4. 评估与验证：建议在特定领域数据集上进行进一步评估，以验证模型在实际应用中的表现，并结合领域知识进行针对性优化。

结论

Open-o3-Video-v2通过主动证据获取和对象级验证机制，显著提升了视频推理的可靠性和准确性。其在多个基准测试中的优异表现，展示了该模型在复杂视频任务中的巨大潜力，为视频理解领域带来了新的技术突破。

---

消息来源：Hugging Face Daily Papers (2026-10-13)

—— 完 ——

主题标签： #MSALab-PKU 关注 #视频推理 关注 #强化学习 关注 #多模态模型 关注 #证据获取 关注