MDU多语言文档理解基准：模型规模无法抹平能力鸿沟

摘要：MDU 为视觉语言模型建立覆盖 13 类任务、5 种语言和 23,146 个样本的文档理解评测，在统一协议下测试 45 个开放权重模型及一个商业系统。最佳平均分仅为 69.0，参数规模从 1.7B 增至 235B 也没有稳定消除语言差距；控制各语言领域构成后，差异仍然存在。进一步分析显示，转写与语义抽取等能力在校正总体质量后基本不相关，说明文档解析不能仅靠扩大模型容量，需要针对 OCR、版面理解和跨语言语义能力分别优化。

---

核心发现：文档理解能力没有被参数规模统一抹平

MDU 将多语言文档理解拆成 13 类任务，覆盖英语、法语、德语、意大利语和西班牙语，共包含 23,146 个样本。评测范围从 OCR 文本转写、Markdown 提取延伸至摘要、分类、命名实体识别，以及依赖页面结构的段落与版面元素抽取。

研究在同一协议下测试了 45 个开放权重 VLM，覆盖 1.7B—235B 参数，并加入一个商业系统。最佳平均分只有 69.0，45 个开放权重模型中仅 8 个达到 65 分以上；排名前两的系统都是 27B 模型，而不是参数量最大的 235B 模型。

这意味着文档 VLM 的瓶颈并不等价于通用语言模型的规模瓶颈。更大的模型可以提高总体平均分，却不能保证每种语言、每类版式和每项底层能力同步改善。

为什么语言鸿沟不是领域混合造成的

多语言基准常见的一个混杂因素是：不同语言对应的数据领域并不相同。例如某种语言可能拥有更多表格、发票或长文本，模型在其中的优势会污染语言间比较。

MDU 对各语言的领域构成进行了控制，结果显示，最强语言与最弱语言之间的差距并未消失。也就是说，差距不能简单归因于语料类型分布，而更可能来自 OCR 识别质量、语言与视觉表示的绑定方式、训练数据覆盖，以及文档结构推理能力的差异。

对工程团队而言，这意味着多语言模型选型不能只比较多语言平均分。部署到特定国家或地区时，至少应分别测量页面渲染质量、低分辨率扫描件、表格与表单、复杂双栏版面，以及关键字段的结构化抽取准确率。

转写与语义抽取并不自动协同

MDU 的另一项关键发现，是不同任务能力在校正总体模型质量后基本不相关。一个模型可能擅长逐字转写页面，却不一定能稳定完成命名实体识别、摘要或结构化字段抽取；反之亦然。

这与文档智能流水线的工程分层一致。典型链路先通过 OCR 或视觉编码器恢复字符和坐标，再通过版面分析恢复阅读顺序与区域关系，最后由语言模型完成语义抽取。若上游视觉表示丢失字符、阅读顺序或坐标信息，后端再强的生成模型也难以可靠恢复答案。

因此，模型总分会掩盖关键故障：平均分较高的系统仍可能因为 OCR 错误而污染实体识别，或因版面顺序错误而生成语义流畅但结构错误的表格。面向生产环境，团队应采用分阶段指标，而不是只保留一个端到端综合分。

基准如何避免单纯奖励参数规模

MDU 将评测对象覆盖到 235B 参数，同时纳入不同规模的开放权重模型，因此能够检验规模与能力之间的关系。其结果否定了“扩大模型即可自然获得均衡多语言文档能力”的简单假设。

不过，基准仍存在需要关注的外部效度问题。现有语言集中在五种欧洲语言，不能直接代表中文、阿拉伯语、日语、印地语等书写体系；OCR 引擎、页面渲染方式和图像分辨率也可能显著影响视觉语言模型的输入质量。若摘要未披露完整数据来源、许可和各语言领域分布，跨语言分数就不应被直接解释为纯粹的语言能力差异。

此外，13 项任务的评分方法会影响平均分的可解释性。若文本生成任务使用自动指标或模型裁判，评审偏差、提示敏感性和参考答案噪声都可能进入结果；版面抽取任务若只比较最终序列化结果，也可能掩盖坐标级或阅读顺序层面的差异。复现时应核对每个任务的指标、归一化方式、提示模板和失败样本处理规则。

对开发者与企业部署的启示

1. 将文档 VLM 视为多阶段系统

不要只部署一个端到端模型就假设 OCR、版面分析和语义抽取都已解决。生产链路应保存页面图像、OCR 文本、坐标、阅读顺序与模型输出，并以任务级回归集定位错误发生在哪一层。

2. 按目标语言和文档类型做切片评测

总体平均分不足以支撑跨国部署。至少应按照语言、文档领域、版式、扫描质量和字段重要性建立评测矩阵，并为核心字段设置独立阈值。

3. 不把参数量当成唯一成本指标

235B 模型需要更高的显存、推理延迟和部署复杂度，而 27B 模型在本基准中已经进入领先组。对于企业文档流水线，更合理的目标是以任务准确率、端到端延迟和每页成本联合选择模型。

4. 对语义任务优先验证字段级可靠性

摘要或分类的平均得分不能直接代表关键数据抽取的可靠性。发票、合同和表格处理应单独统计字段级 Precision、Recall、坐标一致性和人工复核率，避免“文本读对但字段配错”。

5. 关注非英语数据的训练覆盖

模型规模无法替代多语言数据治理。提升低资源语言表现通常需要匹配书写系统的 OCR 语料、页面级布局标注、领域文档覆盖，以及针对转写和语义任务平衡的数据混合。

工程结论

MDU 最重要的贡献不是制造一个更长的模型榜单，而是证明多语言文档理解存在结构性能力错配：参数规模无法稳定消除语言差距，转写也不等同于语义抽取。开发团队应据此把评测和优化拆到语言、任务、版式与流水线阶段，而不是继续依赖单一综合分数。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-13)

—— 完 ——

主题标签： #多模态大模型 关注 #视觉语言模型 关注 #文档理解 关注 #多语言评测 关注 #VLM基准 关注