ParseBench-2以严重度策略重构文档解析评测
摘要:LlamaIndex推出ParseBench-2,把文档解析评测从参考答案相似度改为按错误后果分级。框架拆分文本、表格、图表、表单等维度,以330类受控扰动校准确定性评分器,并用严重度上限避免关键金额错误被大量正确内容稀释;测试集覆盖4,317个页面级案例。ParseBench-1与TEDS曾把截断数字的财报输出排在事实正确输出之前,Haiku 5.5成对评审也出现证据不变却反转胜负。其规则可解释、可版本化,并能按业务负载定制,但严重度权重仍须用私有数据与人工标注校准。
解析正确性不是单一距离
ParseBench-2的核心不是再做一个OCR总榜,而是把“解析正确”改写为可配置、可回归测试的错误代价函数。文档解析并非单一转录任务:正文还包含阅读顺序,表格要求把数值绑定到正确的行列表头,图表要恢复数值序列,表单要识别字段值、勾选态与空白,视觉定位则约束证据区域。参考答案相似度无法稳定表达这些错误的后果:金额改错可能被数百个正确单元格稀释,等价HTML表格却可能因结构差异被重罚。
在麦当劳财报样例中,2022年综合收益从$6,264被截断为$6,26。ParseBench-1给损坏输出99.2分,却给事实正确输出43.6分;OmniDocBench采用的TEDS也把损坏输出排得更高。这说明的是指标失配,不是任何解析器的真实准确率。文中用于对比的olmOCR式输出来自团队为参考单元格生成的TableTest,并非原olmOCR-bench数据集成绩,不能被解读为官方横向排名。
LLM裁判能补空白,也会把偏好藏进提示词
LLM裁判擅长判断两种输出是否语义等价,也能发现难以写成确定性规则的错误,但成对偏好并没有自动暴露“格式差异”和“数值错误”分别占多大权重。ParseArena采用这类判断,ParseBench-2则尝试把错误维度与严重度显式拆开。
LlamaIndex用Haiku 5.5和公开PAIR提示词,在412页SERFF保险文件上比较LiteParse纯文本输出与r-1-mini,每页判断三次并改变展示顺序。团队随后只检查了LiteParse平均偏好高于0.5的77页;这77页是看完结果后选出的子集,不能据此推断全样本错误率。
抽查确实发现了真实问题:r-1-mini把一个空白单元格填入零,三次判断都偏好保留空白的LiteParse,而ParseBench-2保存的表格分数却给r-1-mini打了98.1分,说明确定性指标也存在漏罚。另一方面,77页中有11页在提示词、页面图像、解析输出和展示顺序均不变时出现胜负反转。一轮偏好保留原文拼写错误Trust Liabiltiy,另一轮则声称缺少表头,但实际八个表头全部存在。这种现象既包含模型随机性,也暴露了任务定义不清:档案转录可能要求忠实保留原文拼写,语义清洗则可能希望自动纠正它。
ParseBench-2如何工作
ParseBench-2将期望的评分行为与评分器实现分离。严重度政策把扰动划分为critical、major、minor和benign,并为每类错误规定目标分数变化。例如,把金额从$4,200改成$4,700应产生显著扣分,而返回受支持的等价表格表示则不应改变分数。
团队构建了6个测试套件、330种扰动类型,同时覆盖真实错误与良性变化。开发过程中,严重度政策和目标分数区间保持固定,编码代理在人工审核下修改比较规则、错误检测器和权重,再通过回归检查寻找更符合政策的实现。最终评分器对固定输入与版本保持确定性。这里的“确定性”指相同页面和版本可重复计算,并不意味着严重度政策本身客观或无偏。
在文本、格式、表格、图表和表单维度,页面分数采用min(content_recovery_score, severity_cap):内容恢复分与严重度上限共同决定结果,防止关键错误被大量正确内容冲淡。默认政策下,首次发现critical错误会把原本满分页面的上限压到90;视觉定位使用独立规则,不应用这一上限。扩展测试集包含6个维度的4,317个页面级案例,并加入表单和定向数据。
工程权衡
这种设计带来三项实际收益。第一,分维度报告比单一总分更容易定位OCR、VLM、后处理或业务规则在哪一层出错。第二,严重度政策、扰动集、评分器和版本可以分别管理,适合接入持续集成与回归测试。第三,受控扰动把“为什么扣分”变成可检查的工程规则,而不是完全交给不可复现的模型裁决。
代价也同样明确。政策权重属于人为规范:财报抽取、合同归档和保险理赔可能对同一错误给出不同严重度;一旦为单个客户定制,跨系统排行榜的可比性便会下降。最小值与上限机制能阻止严重错误被稀释,却可能压平多个严重错误之间的差异。编码代理可以加速规则实现和测试,但若政策、测试集与评分器同时迭代,仍可能对330类已知扰动过拟合。
所给材料没有充分展示外部人类一致性、置信区间、完整解析器榜单及跨任务复现,因此它证明的是评测行为更可控,而不是某个解析器已被全面验证领先。生产采用前还应核实全部实现、扰动数据和评测入口的开放状态。
开发者落地与部署建议
- 先定义业务损失。 将错误分成不可接受的数值、权限、勾选状态、阅读顺序和可容忍格式差异,再决定哪些属于critical、major、minor或benign,而不是直接照搬默认权重。
- 从生产故障构造扰动集。 收集扫描件、手写内容、嵌套表格、合并表头、图表和空白表单,优先覆盖已经造成过业务事故的错误类型,同时保留语义等价但表示不同的良性样本。
- 用人工标注校准政策。 对关键样本实行双人复核和冲突仲裁,把严重度映射到漏报成本、误报成本与人工复核成本;分数变化区间应由这些后果反推。
- 保留留出集与版本记录。 将调参扰动、开发文档和最终测试文档分开,固定严重度政策与评分器版本,避免只对公开测试模式优化。
- 确定性指标做CI门禁,LLM裁判做辅助审计。 LLM判断应重复运行并随机交换输出顺序,要求其引用具体页面证据;单次胜负不能作为发布门禁。
- 同时报告维度结果和业务加权成本。 除总分外,分别披露文本、表格、图表、表单与视觉定位表现,并按实际工作负载计算错误成本和人工复核负担。
—— 完 ——消息来源:LlamaIndex Blog (2026-11-19)
主题标签: #文档解析 #ParseBench-2 #OCR #视觉语言模型 #评测基准
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区