EleutherAI发布FineBooks BHL OCR Leaderboard:评估开源OCR模型对历史文献的识别能力
摘要:EleutherAI与Hugging Face合作推出FineBooks项目,旨在评估开源OCR模型对历史文献的识别能力,并发布FineBooks BHL OCR Leaderboard。该排行榜基于对14个开源OCR模型在BHL(生物多样性遗产图书馆)2,165页历史书籍上的测试结果,为研究人员和开发者提供了关于OCR模型性能的权威参考。FineBooks项目还计划使用领先模型重新处理公共领域书籍,并将其作为开放数据集发布,以提升AI训练数据的质量。
项目背景
近年来,随着光学字符识别(OCR)技术的进步,尤其是视觉语言模型(VLMs)的兴起,OCR模型在处理现代文档方面取得了显著进展。然而,历史书籍由于其复杂的排版、古老字体(如长s“ſ”)以及不再常用的语言(如拉丁语),对OCR模型提出了更高的挑战。
FineBooks项目
EleutherAI与Hugging Face合作推出的FineBooks项目,旨在解决这一问题。该项目有两个主要目标:
- 评估当前开源OCR模型对历史文献的识别能力:通过FineBooks BHL OCR Leaderboard,测试14个开源OCR模型在BHL的2,165页历史书籍上的表现。
- 重新处理公共领域书籍并发布开放数据集:使用领先的OCR模型重新处理公共领域书籍,并将其作为开放数据集发布,以提升AI训练数据的质量。
FineBooks BHL OCR Leaderboard
该排行榜基于对14个开源OCR模型的测试结果,模型包括以下几类:
- 传统OCR模型:如Tesseract。
- 基于视觉语言模型的OCR模型:如TrOCR。
每个模型处理所有2,165页书籍,并使用以下指标进行评估:
- 字符错误率(CER):衡量模型识别字符的准确性。
- 召回率(Recall):衡量模型识别出应出现在页面上的单词的比例。
- 过度提取(Over-extraction):衡量模型在空白或仅包含插图的页面上生成文本的比例。
- 循环率(Loop rate):衡量模型在达到token限制之前重复自身的比例。
评估结果
初步结果显示,尽管一些模型在处理现代文档时表现出色,但在面对历史文献时仍存在较大挑战。例如,某些模型在处理包含古老字体的文本时表现不佳,而另一些模型则在处理多语言文本时表现更好。
未来计划
FineBooks项目计划继续扩展其评估范围,并计划发布更多开放数据集,以支持AI研究社区。此外,项目团队还计划开发新的OCR模型,以更好地处理历史文献。
行业影响
FineBooks项目的发布为OCR领域的研究和开发提供了重要的参考数据,并推动了开源OCR模型在处理历史文献方面的进步。对于AI研究人员和开发者来说,该项目提供了一种新的工具和资源,有助于提升OCR模型的性能和应用范围。
—— 完 ——消息来源:EleutherAI Blog (2026-08-10)
主题标签: #OCR #开源模型 #EleutherAI #历史文献 #BHL
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区