MInfoVisQA以24种语言测量多模态模型读图稳健性
摘要:MInfoVisQA提出面向信息密集型视觉内容的24语言平行问答基准,由128个种子样本扩展出8960种配置,并以语言对齐问答(LQA)和固定英语提问、改变图中语言(XQA)两种设置测试25个多模态大模型。结果显示,平均分会掩盖显著的语言稳健性差异:两个平均LQA准确率同为80.4%的模型,跨语言极差分别为7.8和20.3个百分点;全部模型在固定英语问答、非英语图像条件下均退化。该基准把会看图与能跨语言稳定读图分开测量,揭示OCR、视觉编码与跨语言对齐仍是生产级多模态系统必须单独验收的环节。
基准设计:把语言变量从视觉内容中拆出
MInfoVisQA并未单纯扩大题库,而是从128个种子实例出发,在24种语言中构造8960种问答配置。其核心方法是建立种子匹配、语言平行的视觉与问答样本:先分离数值和结构关系,再将文字标签程序化翻译并同步,使不同语言版本尽量对应同一视觉事实和同一答案。这样可以减少翻译改变题目语义造成的混淆,让模型差异更多反映其读取非英语标签、理解视觉结构及跨语言对齐的能力。
按总量折算,每个种子对应约70种配置,但8960个配置不能被视为8960个独立样本。语言条件共享同一底层内容,语言间误差具有相关性;如果按配置独立计算置信区间,会低估不确定性。更合理的统计单位是128个种子,并采用按种子聚类的重采样或配对检验。
这种受控设计提高了变量隔离能力,却也带来生态有效性的取舍:程序化生成的标签和布局便于精确比较,但未必覆盖真实业务材料中的字体渲染、翻译习惯、阅读顺序、标点规范和地区化设计差异。
LQA与XQA:分别测量语言匹配和跨语言迁移
在Language-Aligned QA(LQA)中,图中文字与问题使用相同语言。该设置要求模型在语言表面变化后仍能识别标签、解析视觉关系并给出答案,更接近本地化用户以母语提问的场景。
Cross-Language QA(XQA)则固定问题语言,同时改变视觉材料中的语言。摘要进一步说明,这一条件使用固定英语问题。它将视觉端的语言变化与问答端的语言变化拆开,更直接地测试模型能否从非英语视觉内容中抽取信息,再跨语言完成回答。
两项测试不能互相替代:LQA仍可能受模型在目标语言上的问答先验影响;XQA的下降也可能来自OCR、字形识别、渲染质量、标签对齐或语言理解中的任一环节,而不只是视觉推理能力。因此,XQA适合定位跨语言敏感点,但不能单独证明模型不会理解视觉结构。
结果:相同平均分掩盖不同稳健性
摘要报告,两个模型的平均LQA准确率均约为80.4%,但跨语言表现极差分别达到7.8和20.3个百分点。两个极差相差12.5个百分点,说明相似的总体准确率并不意味着相似的语言覆盖能力。对于生产系统,某个语言上的灾难性下降完全可能被十余个高分语言稀释。
另一个结果是,25个模型在固定英语问答、非英语视觉条件下的汇总表现均出现下降。该结论提供了稳定的跨模型方向性证据,但摘要没有列出完整逐语言表格,因此尚不能判断每个模型是否在每一种非英语上都下降,也不能计算下降是否具有统计显著性。
实际评测不应只报告一个平均数。推荐同时给出语言宏平均、按样本量加权的微平均、最差语言准确率、跨语言极差和置信区间。若定义模型在语言集合上的表现极差,可写为:
S = max(A_language) - min(A_language)
对跨语言问答,还可定义:
D_language = A_LQA(language) - A_XQA(language)
其中正值表示同一视觉内容在问题语言改变后出现退化。模型选型应比较平均准确率与最差语言表现之间的Pareto前沿,而不是只按总榜排序。
工程机制:端到端下降不能直接归因于单一模块
通用多模态模型处理此类任务时,语言变化可能沿三条路径传导:视觉编码器需要识别不同文字系统及排版;OCR或文字读取模块需要正确恢复标签与数值;语言模型及跨模态对齐层需要把视觉证据映射到问题所需语言。摘要只观察端到端准确率,未提供模块消融,因此不能把退化直接归咎于分词器、OCR或视觉编码器中的某一项。
要定位瓶颈,应在相同种子上分别测试:原生图像输入、OCR结果作为文本输入、OCR与原图联合输入,以及仅保留数值结构而移除自然语言的对照条件。若OCR转写准确但答案仍下降,问题更可能位于视觉关系推理或跨模态对齐;若转写阶段已经丢失字符,后续语言模型再强也无法可靠恢复。
渲染与翻译质量同样需要单独审计。非英语字符可能出现字体缺失、字形混淆、标签遮挡或字符密度变化,这些因素会混入语言效应。完整论文若提供模板、翻译流程和渲染参数,第三方才能判断测到的是模型语言能力,还是基准材料本身的可读性差异。
落地建议:用最差语言和成功成本做发布闸门
- 建立LQA/XQA矩阵。 同一视觉内容同时运行语言匹配问答和固定语言跨语言问答,避免将视觉识别错误和问答语言迁移混为一项指标。
- 按种子聚类统计。 以128个种子为重采样单元,报告置信区间、效应量和逐语言结果;不要把语言扩展配置当成独立样本。
- 单列关键语言。 除宏平均外,报告最差语言、倒数第二语言及目标业务覆盖语言的准确率,并设置发布阈值。
- 执行模块消融。 对OCR、原生视觉、OCR加原图和结构化中间表示进行同提示词对照,定位部署瓶颈。
- 统一模型配置。 固定提示模板、分辨率、OCR版本、解码参数和答案归一化规则,避免工程配置制造虚假差异。
- 按成功答案核算成本。 可用
C_success = C_inference / p_success估算单次正确结果的推理成本。模型若在非英语输入上准确率不足,往往需要OCR重试、语言路由或二次模型调用,标价更低的模型未必拥有更低的成功任务成本。
生产架构也存在直接取舍:原生端到端多模态推理链路较短,但错误位置不透明;OCR加解析器便于审计和纠错,却增加延迟与错误传播;按语言路由专用模型可能改善尾部分布,但会扩大部署和运维复杂度;置信度触发双路径可以提高覆盖率,却会牺牲一致性并增加推理成本。应以业务语言分布和最差语言SLA决定策略,而非仅依赖平均榜单。
当前证据边界
MInfoVisQA的有效独立样本量取决于128个种子,而非8960个配置。所给摘要未披露24种语言的完整清单、翻译与人工校验流程、模型清单、提示协议、答案归一化规则、重复运行方差、置信区间、代码、数据许可及渲染细节;这些信息会直接影响结果的可复现性和生态有效性。作为arXiv v1预印本,它更适合用于发现跨语言风险和制定内部评测协议,而不是直接充当生产认证标准。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-11-18)
主题标签: #MInfoVisQA #多模态大模型 #跨语言视觉问答 #信息密集视觉 #基准评测
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区