ParseBench-2重构文档解析评测，按错误严重度加权

摘要：LlamaIndex 发布 ParseBench-2，将文档解析评测从表面格式匹配推进到面向下游任务的错误严重度评估。新版基准把语料从 2,100 扩展至 4,300 个案例，覆盖文本、表格、格式、图表、布局与表单六个维度，并逐一校验 1,025 张图表。核心方法是建立 330 余种可注入错误场景，按 critical、major、minor 和 harmless 分级，再校准确定性指标及严重度上限。数据、评测代码和论文均已开放，为解析器选型、回归测试及自定义质量策略提供可复现基础。

---

LlamaIndex 发布 ParseBench-2，试图解决传统文档解析基准最棘手的问题：解析器在像素级或字符串级指标上得分很高，却可能悄悄改错关键数字、错绑表头或丢失表单状态。该版本不训练新模型，而是重新定义“什么才算解析错误”，并把评测扩展到六类文档结构和 330 余种可复现故障场景。

从格式差异转向业务后果

传统基准常用编辑距离、结构相似度或固定字段匹配计算得分。这些方法实现简单、可重复，却默认所有字符偏差近似等权。在实际知识工作流中，数字“75%”被解析为“57%”、金额少一个数量级，通常比把同一张表格从 HTML 改成 Markdown 严重得多。

ParseBench-1 曾出现相反失真：一次表格数字替换在 459 单元格表格中仅损失 0.13 分，而内容完全正确的 Markdown 表格却被判为零分。ParseBench-2 的目标，是让确定性指标的下降幅度更贴近专家对下游后果的判断，而不是奖励某一种固定序列化格式。

其方法可以概括为三步：

1. 从正确解析结果出发，注入可重复的错误或等价表达变化。
2. 由专家将变化标记为 critical、major、minor 或 harmless。
3. 比较大量候选指标对各维度分数变化的响应，通过参数校准使指标曲线逼近预设严重度策略。

严重度上限是其中关键约束。即使页面其他部分全部正确，单个严重错误也不能被大量低价值内容稀释，从而保证关键字段错误不会被平均分掩盖。

六维评测对象

新版数据集从 2,100 个案例扩展到 4,300 个，覆盖真实企业文档中的复杂表格、图表、表单及版面结构，同时修正了第一版五个维度中的错误与歧义标注。

• 文本：分别评估转写准确性与阅读顺序。侧栏或分栏内容即使位置变化，只要文字被正确提取，仍可获得文本分。
• 表格：检查单元格值、表头关联和行列结构，避免把错误年份对应的数值视为等价输出。
• 格式：区分影响语义表达的格式变化，例如删除线、强调或结构标识，而不是机械惩罚所有 HTML 差异。
• 图表：完整检查 1,025 张图表中的每一个值，要求解析器恢复完整数据序列后才能获得满分。
• 布局：评估元素位置和阅读关系，减少多栏文档中文字顺序混乱造成的连锁误判。
• 表单：验证字段与值的绑定、复选框状态以及空白字段是否仍为空。

这种拆分比单一端到端分数更适合生产调试。团队可以定位究竟是 OCR 转写、表格重建、图表数值提取还是版面阅读顺序出了问题，而不是只得到一个无法指导修复的总分。

为什么不用 LLM-as-a-Judge

LLM 评审能够理解“不同结构是否表达相同语义”，但其结果会受评审模型、提示词和调用温度影响，也难以针对每个字段提供稳定、可重复的诊断。ParseBench-2 选择保留确定性指标，并通过错误注入和人工严重度策略校准它们，在可复现性与语义适配性之间折中。

不过，确定性并不自动等于客观。330 多种错误类型及严重度标签仍由专家定义，可能带有文档处理厂商的先验偏好；把“正确表格的 Markdown 输出”定义为无害，也只对支持 Markdown 的下游流程成立。若系统只接受固定 JSON 模式，就需要自行调整策略。因此，该框架的价值不仅是发布一个排行榜，更在于允许用户重定义场景严重度并选择相应指标。

对解析器研发的实际影响

ParseBench-2 更适合作为回归测试框架，而不是一次性跑分工具。解析器升级时，可固定语料与场景，分别观察六个维度的分数变化，防止整体均分上升却掩盖关键数字错误。严重度上限还允许团队把 critical 场景设为发布门禁：例如医疗、财报或合同解析中，字段错绑、表单状态丢失和图表数值遗漏可以触发阻断，而轻微格式差异只记录警告。

但官方材料尚未完整披露各解析器的统一运行配置、测试模型版本、硬件环境以及分数置信区间。不同解析服务若使用不同 OCR 后端、LLM 版本、提示模板或表格规范化策略，比较结果就可能混入流程差异。正式采购或替换解析器时，仍应在自己的文档分布、隐私要求和目标输出格式上复测。

部署与选型建议

开发团队可先选取内部最常见的 100 至 500 份文档，按业务后果重新标注错误严重度，再映射到 ParseBench-2 的六个维度。对于金融、政务和医疗场景，应单独提高金额、日期、身份字段、复选框状态与图表数值错误的权重，而不是直接照用默认策略。

接入 CI/CD 时，可把关键错误设为硬门槛，把版式与格式变化设为趋势告警，并固定解析器版本、OCR 模型、LLM 提示和依赖版本。迁移到新版基准时，还应保存 ParseBench-1 的回归结果，避免因评分规则变化而把模型退化误判为能力提升。

ParseBench-2 的核心贡献，是将文档解析评测从“输出长得像不像参考答案”推进到“错误会不会破坏下游任务”。它不会替代业务级验收，但为解析器研发提供了更接近生产风险的测量标尺。

---

消息来源：LlamaIndex Blog (2026-11-12)

—— 完 ——

主题标签： #ParseBench-2 关注 #文档解析 关注 #严重度评测 关注 #RAG 关注 #LlamaIndex 关注