LlamaIndex 探讨 OCR 基准测试未来方向:OmniDocBench 饱和后的挑战与机遇
摘要:LlamaIndex 近日发布文章,探讨了当前 OCR 基准测试领域的现状与未来方向。文章指出,OmniDocBench 作为文档解析领域的领先基准测试平台,尽管在推动模型性能提升方面发挥了重要作用,但已逐渐趋于饱和,难以应对复杂文档解析的挑战。LlamaIndex 提出了 OmniDocBench 的两大主要问题:数据集类型有限且过于简单,以及评估指标过于刚性,阻碍了创新型解析器的开发。文章呼吁开发一个更复杂、更全面的文档解析基准测试平台,并引入新的评估方法,以奖励语义正确性而非严格的格式匹配,从而推动文档解析技术的进一步发展。
OmniDocBench 的现状与挑战
在过去的一个月中,文档 OCR 和视觉语言模型(VLMs)领域取得了显著进展,从 DeepSeek-OCR2 到 PaddleOCR-VL-1.5,再到 GLM-OCR,最新的 GLM-OCR 模型在 OmniDocBench v1.5 上以 94.6% 的准确率刷新了 SOTA 记录,不仅超越了开源模型,还击败了 Gemini 3 Pro 和 GPT-5.2 等前沿模型。OmniDocBench 已成为评估文档理解模型的首选基准之一,被广泛应用于 Gemini 和 Kimi 2.5 等最新版本中。
然而,文档解析远未解决。即使是像 GLM-OCR 这样的最新模型在 OmniDocBench 上取得了极高的准确率,但在处理复杂文档边缘案例时仍然存在大量失败情况。理想的文档解析基准测试指标应挑战最佳模型,并推动它们在任何复杂文档类型上达到 100% 的解析准确率。
OmniDocBench 主要面临两大问题:
-
数据集饱和且类型有限:OmniDocBench 的数据集规模相对于现实世界的文档空间仍然较小,仅包含 9 种文档类型,且偏向于学术论文等特定领域,忽略了复杂金融报告、市场研究报告、法律文件、保险索赔和表格等复杂文档类型。
-
评估指标过于刚性:OmniDocBench 使用连续指标(如 BLEU 和编辑距离)来衡量解析输出与真实标注之间的相似性。这种方法会惩罚小的、无害的差异,如标点、间距和换行符。此外,单一的固定真实标注也存在问题,因为文档输入本身可能存在“模糊”的真实表示。例如,输出 3 个项目符号点与不输出项目符号点可能同样有效。
未来方向
我们需要一个新的文档基准测试平台,它不仅更复杂、更全面,而且包含一种评估方法,能够奖励超出精确匹配的通用语义正确性。这将促使模型不再局限于边缘案例的精确文本/表格匹配,而是鼓励它们在任何类型的文档上实现更好的单次视觉推理。
LlamaIndex 正在开发快速、廉价且准确的解析模型,这些模型能够从最复杂的视觉文档中输出语义正确、易于解释的 Markdown,而不过分关注精确匹配。如果您在生产中需要扩展 OCR 工作负载,欢迎尝试 LlamaParse!
—— 完 ——消息来源:LlamaIndex Blog (2026-09-09)
主题标签: #LlamaIndex #OCR #文档解析 #基准测试 #智能体
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区