arXiv发布NE-BERT：面向印度东北部九种语言的多语言模型

摘要：arXiv发布了一款名为NE-BERT的多语言预训练模型，专注于印度东北部九种低资源语言和两种锚点语言（印地语、英语）。NE-BERT通过加权数据采样和自定义SentencePiece Unigram分词器，在所有九种目标语言上均优于现有的IndicBERT-V2和MuRIL模型，平均困惑度分别降低了15.97倍和7.64倍，同时在形态复杂的语言处理上表现出色。该模型开源并附带训练语料库和测试集，为低资源语言NLP研究和数字包容提供了重要支持。

---

核心突破

NE-BERT是针对印度东北部九种低资源语言（阿萨姆语、孟加拉语等）和两种锚点语言（印地语、英语）设计的多语言预训练模型。其主要技术亮点包括：

• 加权数据采样：通过优化训练数据的权重分布，提升低资源语言的建模效果。
• 自定义SentencePiece Unigram分词器：有效解决低资源语言中的词汇碎片化问题。
• 性能提升：在所有九种目标语言上，NE-BERT的平均困惑度相较于IndicBERT-V2和MuRIL分别降低了15.97倍和7.64倍。
• 形态复杂语言处理：针对如Pnar（1002句）和Kokborok（2463句）等极低资源语言，通过激进的上采样策略解决了词汇碎片化问题。

技术解析

NE-BERT采用了多语言预训练模型的标准架构，但在数据处理和训练策略上进行了针对性优化。通过对低资源语言的积极数据增强和分词器优化，模型在处理形态复杂且数据稀缺的语言时表现出色。此外，NE-BERT在下游任务（如词性标注）上的评估也验证了其实际应用价值。

行业影响

NE-BERT的发布为低资源语言NLP研究提供了新的工具，尤其对印度东北部语言社区具有重要意义。该模型的开源性质使其能够被广泛用于数字包容项目、语言保存和文化保护工作。此外，NE-BERT的成功经验也为其他低资源语言模型的开发提供了参考。

开发者建议

• 应用场景：适用于需要处理印度东北部语言的任务，如机器翻译、文本生成和语音识别。
• 模型扩展：开发者可以基于NE-BERT进行微调，以适应特定领域的应用需求。
• 数据增强：建议结合NE-BERT的策略，探索更多数据增强技术以提升低资源语言模型的性能。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-08-20)

—— 完 ——

主题标签： #多语言模型 #低资源语言 #NLP #arXiv #印度语言