智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #强化学习 #多模态模型 #视觉推理 #AI研究

Hugging Face提出V-Rubrics:基于视觉标准强化学习的新方法

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 3 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face的研究团队提出了一种名为V-Rubrics的视觉标准强化学习方法,旨在解决多模态后训练中的信用分配问题。该方法通过将参考回答分解为原子命题,并基于视觉真实性(VF)、推理一致性(RC)和指令遵循(IF)三个维度对生成答案进行评分,从而提供结构化的部分评分和局部化奖励。实验表明,V-Rubrics在知识导向和视觉推理基准测试中表现出色,证明了其在视觉后训练中的有效性。


背景与挑战

在多模态模型的后训练过程中,模型生成的答案虽然流畅,但可能缺乏对视觉证据的充分支持。这种现象源于信用分配失败:现有的标量奖励机制只能判断答案是否可接受,但无法识别哪些视觉事实被正确引用,哪些推理步骤有效,或哪些指令约束被忽略。

V-Rubrics方法

Hugging Face提出的V-Rubrics方法通过以下步骤解决上述问题:

  1. 分解参考回答:将参考回答分解为原子命题,以便更细致地评估生成答案的各个部分。
  2. 多维度评分:基于视觉真实性(VF)、推理一致性(RC)和指令遵循(IF)三个维度对生成答案进行评分。
  3. 结构化部分评分:为每个维度提供结构化的部分评分,并结合支持证据的跨度进行局部化奖励分配。

实验与结果

研究团队首先通过在公共OpenMMReasoner-SFT-874K语料库上微调Qwen3-VL-8B-Instruct,获得了SFT检查点。随后,他们构建了一个包含50,248个样本的训练集V-Rubrics 50K,并使用Gemini-3-Pro进行注释。实验结果表明,基于V-Rubrics的GRPO方法在共享SFT基线和仅答案GRPO方法上均有显著提升,尤其在知识导向和视觉推理基准测试中表现突出。

技术亮点

  • 多维度评分机制:通过视觉真实性、推理一致性和指令遵循三个维度进行评分,提供更全面的评估。
  • 结构化部分评分:为每个维度提供结构化的部分评分,并结合支持证据进行局部化奖励分配。
  • 实验验证:在多个基准测试中,V-Rubrics方法均表现出色,证明了其在视觉后训练中的有效性。

行业影响与开发者建议

V-Rubrics的提出为多模态模型的后训练提供了新的思路和方法,能够有效提升模型对视觉证据的支持和推理能力。开发者可以尝试将V-Rubrics应用于自己的模型训练流程中,以提升模型在复杂任务中的表现。同时,该方法也为AI研究社区提供了一个新的研究方向,未来可以进一步探索其在其他领域的应用潜力。


消息来源:Hugging Face Daily Papers (2026-08-26)

—— 完 ——

主题标签: #Hugging Face #强化学习 #多模态模型 #视觉推理 #AI研究

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…