ArXiv发布KinyaEmbed：首个基尼亚卢旺达语的专用句嵌入模型

摘要：ArXiv团队发布了首个针对基尼亚卢旺达语的专用句嵌入模型KinyaEmbed，该语言为卢旺达超过1200万人使用的班图语。现有多语言模型因预训练语料库中严重缺乏基尼亚卢旺达语数据，表现不佳。KinyaEmbed基于KinyaBERT-large，通过四阶段课程训练实现优化，并在多个基准测试中超越现有模型，展示了其在处理形态丰富语言方面的强大能力。

---

核心突破

基尼亚卢旺达语是一种形态丰富的班图语，目前缺乏针对该语言的高效句嵌入模型。KinyaEmbed的发布填补了这一空白，其主要特点包括：

• 四阶段训练流程：

  1. 利用卢旺达官方公报中的约18,000对释义句进行初步训练。
  2. 使用NLLB翻译的715个MNLI三元组进行微调，以捕捉蕴含结构。
  3. 通过英语-基尼亚卢旺达语OPUS-100翻译对进行表示对齐。
  4. 使用KinyaCOMET过滤的高质量2,936对数据进行最终优化。

• 性能表现：

  • 在SemRel2024-rw基准测试中，KinyaEmbed的Spearman相关系数达到0.7298，超越mE5-large 20.9%，OpenAI text-embedding-3-large 41.0%。
  • 在文档聚类任务中，KinyaEmbed的轮廓系数达到0.2146，领先于所有评估模型。

• 开放资源：所有模型检查点、KinyaCOMET过滤数据和Wiki-RW-STS基准均已公开发布。

技术亮点

1. 多阶段训练策略：通过逐步优化模型对语言结构和语义关系的理解，提升了句嵌入的质量。
2. 高质量数据利用：结合官方公报、翻译对和高标准过滤数据，确保训练数据的准确性和多样性。
3. 跨模态对齐：通过英语-基尼亚卢旺达语翻译对进行表示对齐，增强了模型对跨语言任务的适应性。

行业影响

KinyaEmbed的发布为基尼亚卢旺达语相关的自然语言处理任务提供了强大的工具，特别是在信息检索、文本分类和跨语言理解等领域。其成功也为其他低资源语言的句嵌入模型开发提供了参考。

开发者建议

• 应用场景：建议在涉及基尼亚卢旺达语的文本分析、信息检索和跨语言任务中使用KinyaEmbed。
• 模型微调：开发者可以根据具体任务对KinyaEmbed进行进一步微调，以提升特定应用场景的性能。
• 数据扩展：未来可以扩展更多基尼亚卢旺达语数据，进一步提升模型的表现。

---

消息来源：ArXiv cs.CL (2026-08-27)

—— 完 ——

主题标签： #KinyaEmbed #基尼亚卢旺达语 #句嵌入模型 #多阶段训练 #低资源语言