研究：多语言与单语言因果模型在达罗毗荼语系中的性能对比

摘要：本研究针对达罗毗荼语系中的主要语言（泰米尔语、泰卢固语、卡纳达语和马拉雅拉姆语），训练并评估了基于GPT-2架构的五个因果模型。研究发现，针对单一语言训练的模型在情感分类和命名实体识别任务上表现优于多语言模型，同时其分词器效率也更高。这一结果表明，在处理低资源语言时，单语言模型可能比多语言模型更具优势，为未来低资源语言AI模型的设计提供了重要参考。

---

研究背景与动机

达罗毗荼语系语言（如泰米尔语、泰卢固语、卡纳达语和马拉雅拉姆语）在多语言模型训练数据中占比极小，因此这些语言在多语言模型中的表现能力尚不明确。本研究旨在通过训练和评估单语言与多语言模型，探索不同模型架构对达罗毗荼语系语言的支持效果。

方法与模型

• 模型架构：基于GPT-2架构，共训练五个模型：四个单语言模型（每个模型对应一种达罗毗荼语系语言）和一个多语言模型（共享一个64K词汇量的分词器）。
• 训练数据：所有模型均使用清洗后的CC-100数据、维基百科数据以及Samanantar数据进行训练。
• 评估指标：包括困惑度（perplexity）、每字节比特数（bits-per-byte）、分词器效率以及微调结果，并与mGPT模型进行对比。

主要发现

1. 单语言模型表现更优：在情感分类和命名实体识别任务中，单语言模型的表现优于多语言模型。
2. 分词器效率更高：单语言模型的分词器在所有测试语言中均表现出更高的效率。
3. 多语言模型的局限性：多语言模型在处理低资源语言时，可能无法充分捕捉每种语言的独特特征。

行业影响与建议

• 低资源语言AI模型设计：对于低资源语言，单语言模型可能是更优的选择。
• 多语言模型改进方向：未来多语言模型应更加注重对低资源语言的适配性，例如通过增加语言特定参数或改进训练策略。
• 开发者建议：在处理低资源语言任务时，建议优先考虑使用单语言模型，以获得更好的性能表现。

结论

本研究为达罗毗荼语系语言的AI模型设计提供了新的见解，强调了单语言模型在低资源语言处理中的潜力。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-08-11)

—— 完 ——

主题标签： #Dravidian Languages 关注 #GPT-2 关注 #单语言模型 关注 #多语言模型 关注 #低资源语言 关注