多语言神经机器翻译新突破:针对低资源语言的嵌入初始化策略
摘要:本研究提出了一种针对低资源语言的嵌入初始化策略,通过对多种类型相关语言的嵌入进行平均来初始化未见语言的嵌入,从而提升多语言神经机器翻译(NMT)模型在低资源语言上的表现。研究以Limbum语到英语的翻译为案例,使用8873对平行句对进行评估,结果表明该方法在chrF2++指标上达到46.7分,与使用单语言代理(如斯瓦希里语)的模型性能相当。这一方法消除了对启发式代理选择的需求的需求,同时展示了多语言迁移在极低资源语言翻译中的主导作用。然而,所有系统在保留声调变音符号方面仍存在不足,这为未来研究提出了新的挑战。
研究背景与动机
多语言神经机器翻译(NMT)模型如NLLB-200覆盖了200种语言,但仍有数千种语言未被支持,尤其是喀麦隆的许多草场班图语。当前的做法是在微调这些模型时选择一种代理语言,但缺乏系统性的选择方法。
方法与实验
本研究提出了一种嵌入初始化策略,通过对多种类型相关语言的嵌入进行平均来初始化未见语言的嵌入。研究使用8873对平行句对(来自《新约》文本和双语词典)进行评估,比较了以下模型:
- NLLB-200零样本(chrF2++ = 12.5)
- 从头训练的Transformer(chrF2++ = 14.5)
- 使用斯瓦希里语代理的NLLB-200(chrF2++ = 47.3)
- 使用嵌入初始化的NLLB-200(chrF2++ = 46.7)
结果与讨论
结果表明,多语言初始化方法在性能上与最佳单语言代理相当,且两种NLLB-200变体均比从头训练的基线模型高出32个chrF2++点。这表明多语言迁移在极低资源班图语翻译中占主导地位,同时消除了对启发式代理选择的需求。然而,所有系统在保留声调变音符号方面均表现不佳,这表明在处理语言细节方面仍有改进空间。
未来方向
研究团队已将数据集和代码公开,以支持进一步的研究。未来可以探索更复杂的嵌入融合方法,以及开发专门针对声调变音符号的模型改进技术。
结论
这项研究展示了多语言迁移在低资源语言翻译中的潜力,并为NMT模型在处理极低资源语言时的嵌入初始化提供了一种有效的方法。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-11)
主题标签: #多语言NMT #低资源语言 #嵌入初始化 #Bantu语言 #机器翻译
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区