智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #多语言NMT #低资源语言 #嵌入初始化 #Bantu语言 #机器翻译

多语言神经机器翻译新突破:针对低资源语言的嵌入初始化策略

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:本研究提出了一种针对低资源语言的嵌入初始化策略,通过对多种类型相关语言的嵌入进行平均来初始化未见语言的嵌入,从而提升多语言神经机器翻译(NMT)模型在低资源语言上的表现。研究以Limbum语到英语的翻译为案例,使用8873对平行句对进行评估,结果表明该方法在chrF2++指标上达到46.7分,与使用单语言代理(如斯瓦希里语)的模型性能相当。这一方法消除了对启发式代理选择的需求的需求,同时展示了多语言迁移在极低资源语言翻译中的主导作用。然而,所有系统在保留声调变音符号方面仍存在不足,这为未来研究提出了新的挑战。


研究背景与动机

多语言神经机器翻译(NMT)模型如NLLB-200覆盖了200种语言,但仍有数千种语言未被支持,尤其是喀麦隆的许多草场班图语。当前的做法是在微调这些模型时选择一种代理语言,但缺乏系统性的选择方法。

方法与实验

本研究提出了一种嵌入初始化策略,通过对多种类型相关语言的嵌入进行平均来初始化未见语言的嵌入。研究使用8873对平行句对(来自《新约》文本和双语词典)进行评估,比较了以下模型:

  • NLLB-200零样本(chrF2++ = 12.5)
  • 从头训练的Transformer(chrF2++ = 14.5)
  • 使用斯瓦希里语代理的NLLB-200(chrF2++ = 47.3)
  • 使用嵌入初始化的NLLB-200(chrF2++ = 46.7)

结果与讨论

结果表明,多语言初始化方法在性能上与最佳单语言代理相当,且两种NLLB-200变体均比从头训练的基线模型高出32个chrF2++点。这表明多语言迁移在极低资源班图语翻译中占主导地位,同时消除了对启发式代理选择的需求。然而,所有系统在保留声调变音符号方面均表现不佳,这表明在处理语言细节方面仍有改进空间。

未来方向

研究团队已将数据集和代码公开,以支持进一步的研究。未来可以探索更复杂的嵌入融合方法,以及开发专门针对声调变音符号的模型改进技术。

结论

这项研究展示了多语言迁移在低资源语言翻译中的潜力,并为NMT模型在处理极低资源语言时的嵌入初始化提供了一种有效的方法。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-11)

—— 完 ——

主题标签: #多语言NMT #低资源语言 #嵌入初始化 #Bantu语言 #机器翻译

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…