智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #PRISM #多模态 #数据合成 #指令跟随 #MLLM

PRISM框架:结构化多模态数据合成,让模型遵循优先级规则,Qwen3-VL-4B严格准确率提升至30.1%

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 21 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv最新研究提出PRISM,一个四阶段数据合成框架,旨在让多模态大模型(MLLM)理解并遵循带优先级的规则集(rubric)。PRISM通过生成人物-任务对、前缀引导的规则集、质量过滤的rubric和结构化验证轨迹,仅用10K合成样本,将Qwen3-VL-4B在PRISM-Eval上的严格准确率从9.5%提升至30.1%,同时保持通用基准性能。该框架在四个开源MLLM上均有效,为多规则、优先级感知的多模态指令跟随提供了可扩展路径。


概述

现实世界的多模态指令往往捆绑了多个重要性不等的要求,但大多数多模态训练数据仍将指令跟随简化为回答一个独立问题。arXiv最新研究通过rubric理解来填补这一空白:模型不是作为根据rubric衡量的生成器,而是作为遵循rubric的执行者——给定图像和带类型、优先级的rubric,模型必须在产生整体判断之前验证每条规则。

PRISM框架

PRISM是一个四阶段数据合成框架,生成:

  • 人物-任务对:模拟不同用户角色和任务场景。
  • 前缀引导的规则集:通过前缀提示生成多样化的规则集合。
  • 质量过滤的rubric:过滤低质量规则,确保清晰性和可执行性。
  • 结构化验证轨迹:提供逐步验证的监督信号。

PRISM-Eval基准

PRISM-Eval引入宽松和严格两种指标,使用确定性匹配固定标签,无需推理时的评判模型,评估更客观、可复现。

实验结果

  • 仅用10K合成样本,PRISM将Qwen3-VL-4B在PRISM-Eval上的严格准确率从9.5%提升至30.1%,同时保持通用基准的平均性能。
  • 增益可迁移至四个额外的开源MLLM,涵盖密集和MoE架构。
  • 结果表明,结构化rubric监督是多规则、优先级感知多模态指令跟随的可扩展路径。

行业影响与开发者建议

  • 数据合成新范式:PRISM展示了如何通过结构化数据合成提升模型对复杂指令的遵循能力,为多模态训练数据生成提供了新思路。
  • 评估可复现性:PRISM-Eval的确定性匹配避免了评判模型的不稳定性,为多模态指令跟随评估提供了更可靠的基准。
  • 开发者启示:对于需要处理多条件、优先级任务的多模态应用,可借鉴PRISM的合成策略,以低成本提升模型性能。

出处

本报道基于arXiv论文《PRISM: Priority-aware Rubric Internalization via Structured Multimodal Data Synthesis》(arXiv:2608.05249)。


消息来源:ArXiv Machine Learning (cs.LG) (2026-08-07)

—— 完 ——

主题标签: #PRISM #多模态 #数据合成 #指令跟随 #MLLM

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…