智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #OCR #视觉语言模型 #强化学习 #GAD-RL #arXiv

arXiv提出GAD-RL:自适应调控教师监督,提升OCR模型转录准确性

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 9 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一种名为GAD-RL的新方法,用于提升视觉语言模型在OCR任务中的转录准确性。GAD-RL通过自适应调控教师监督强度,根据学生模型的当前任务表现和局部分布动态调整蒸馏过程。在CHAOS-Bench基准测试中,GAD-RL在Qwen3.5-2B模型上实现了59.92%的Micro Recall,显著超越了现有方法GRPO和GRPO+OPD。此外,在OmniDocBench v1.6上,GAD-RL的整体得分达到91.18,展示了其在处理复杂OCR任务中的潜力。


背景与动机

视觉语言模型在处理图像中的文本时,可能会将异常文本改写为语言上合理的表达,从而影响OCR转录的准确性。现有的序列级任务奖励和局部教师指导方法虽然互补,但随着学生模型的改进,固定的教师指导效果会逐渐减弱。

方法介绍

为了解决这一问题,研究人员提出了GAD-RL(Gate and Attenuated Distillation with Reinforcement Learning)方法。该方法通过以下方式自适应调控教师监督:

  • 动态蒸馏强度调整:根据学生模型的当前任务表现和局部分布,动态调整蒸馏强度。对于包含任务奖励至少为0.95的输出的响应组,GAD-RL会禁用蒸馏,并随着组平均奖励的增加而持续减弱蒸馏强度。
  • 前向KL权重调整:通过学生模型对教师模型Top-1 token的概率来加权前向KL散度,从而在学生模型对候选支持较低时调节局部辅助更新。

实验结果

在CHAOS-Bench基准测试中,GAD-RL在Qwen3.5-2B模型上实现了59.92%的Micro Recall,显著超越了GRPO和GRPO+OPD(固定权重)方法,分别高出8.45和4.43个百分点。在OmniDocBench v1.6上,GAD-RL的整体得分达到91.18,展示了其在处理复杂OCR任务中的强大性能。

技术亮点

  • 自适应调控机制:GAD-RL能够根据学生模型的当前表现动态调整教师监督强度,避免了固定教师指导的局限性。
  • 蒸馏强度与KL权重调整:通过蒸馏强度和前向KL权重的动态调整,GAD-RL在保持学生模型性能的同时,提升了转录的准确性。
  • 跨基准测试的优异表现:在多个基准测试中,GAD-RL均表现出色,验证了其方法的通用性和有效性。

行业影响与开发者建议

GAD-RL的提出为OCR技术的进一步发展提供了新的思路,特别是在处理复杂文本和提升转录准确性方面。对于开发者而言,可以考虑将GAD-RL集成到现有的OCR系统中,以提升模型的转录性能。此外,该方法还可以扩展到其他需要教师指导的领域,如机器翻译和语音识别。


消息来源:ArXiv AI (cs.AI) (2026-10-01)

—— 完 ——

主题标签: #OCR #视觉语言模型 #强化学习 #GAD-RL #arXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…