ArXiv发布TabuLM：首个基尼亚卢旺达语的表格预训练语言模型

摘要：ArXiv团队发布了首个针对基尼亚卢旺达语的表格预训练语言模型TabuLM。该模型基于KinyaBERT-large架构，通过引入行、列和单元格类型嵌入以及学习到的表格结构注意力偏差，显著提升了表格数据的表示能力。预训练采用两种新目标：掩码单元格恢复（MCR）和列类型预测（CTP），并在包含172个政府表格的数据集上进行训练。TabuLM在基尼亚卢旺达语表格问答基准TabQA-kin上实现了62.0%的精确匹配率，超越现有模型5.7个百分点，展现出其在低资源语言环境中的强大潜力。

---

核心突破

ArXiv团队发布了首个针对基尼亚卢旺达语的表格预训练语言模型TabuLM。该模型基于KinyaBERT-large架构，通过以下创新点实现了对表格数据的有效表示：

• 行、列和单元格类型嵌入：通过引入这些嵌入，模型能够更好地捕捉表格数据的结构信息。
• 学习到的表格结构注意力偏差：该机制增强了模型对行和列的注意力聚焦，从而提升了表格数据的表示能力。

预训练采用了两种新目标：

1. 掩码单元格恢复（MCR）：通过掩码整个单元格并从行和列的上下文中重建单元格内容，模型能够学习到更丰富的表格结构信息。
2. 列类型预测（CTP）：模型需要根据观察到的单元格值预测列的语义类型，这有助于提升对表格数据的理解能力。

数据集与基准测试

TabuLM在包含172个卢旺达政府表格的数据集上进行预训练，这些表格包含约35,000个单元格。此外，研究团队还引入了首个基尼亚卢旺达语表格问答基准TabQA-kin，该基准包含31个表格和526个问答对，涵盖四种问题类型。

在TabQA-kin基准测试中，TabuLM实现了62.0%的精确匹配率，超越了KinyaBERT-large（56.3%）以及所有多语言基线模型（mBERT 49.3%，XLM-R 50.0%）。

技术亮点

• 结构化表格嵌入：对比较和查找类问题最为关键。
• 形态感知能力：为模型提供了额外的增益，特别是在处理形态丰富的语言时。
• 新预训练目标：MCR和CTP的引入使得模型能够更有效地学习表格数据的表示。

行业影响与开发者建议

TabuLM的发布为低资源语言环境中的表格数据处理提供了新的技术路径，尤其适用于需要处理形态丰富语言的场景。对于开发者而言，以下几点值得注意：

• 模型适用性：TabuLM在处理基尼亚卢旺达语表格数据时表现出色，但其在其他低资源语言中的应用效果尚待验证。
• 预训练数据需求：开发者需要准备高质量的表格数据以进行模型微调。
• 技术扩展性：该模型的技术框架可以扩展到其他形态丰富的语言，为多语言表格数据处理提供支持。

结论

TabuLM的发布标志着低资源语言环境中表格数据处理的重要进展。其在形态感知和结构化表示方面的创新为未来AI模型的设计提供了新的思路。

---

消息来源：ArXiv cs.CL (2026-08-27)

—— 完 ——

主题标签： #基尼亚卢旺达语 关注 #表格数据 关注 #预训练模型 关注 #低资源语言 关注 #形态感知 关注