智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #机器翻译 #多语言模型 #印度语言 #arXiv #平行语料库

arXiv发布COILD:印度语言机器翻译的新基准与平行语料库

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 16 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项名为COILD的新资源,这是一个专门针对印度语言的平行语料库和评估基准,旨在解决当前印度语言机器翻译(MT)面临的高质量数据稀缺问题。COILD包含116万经过人工翻译和验证的句子对,涵盖20种印度语言对,跨越印欧语系、达罗毗荼语系、藏缅语系和南亚语系,并覆盖八个具有实际应用价值的领域。此外,COILD还引入了一个包含2000句专家验证句子的领域中心基准,用于多语言和跨语言评估。实验结果表明,COILD能够显著提升多语言神经机器翻译模型(如IndicTrans2-Distilled和NLLB-200)的性能,体现了高质量印度语言数据对机器翻译发展的重要性。


核心突破

  • 高质量平行语料库:COILD包含116万经过人工翻译和验证的句子对,涵盖20种印度语言对,跨越多个语系,为印度语言机器翻译提供了丰富且高质量的数据资源。
  • 多领域覆盖:数据来自八个具有实际应用价值的领域,包括法律、医疗、教育等,确保了语料库的广泛适用性。
  • 领域中心基准:引入了一个包含2000句专家验证句子的领域中心基准,用于多语言和跨语言评估,为模型性能评估提供了统一标准。

技术亮点

  • 多语言支持:涵盖印欧语系、达罗毗荼语系、藏缅语系和南亚语系的多语言对,支持更广泛的多语言机器翻译研究。
  • 人工验证:所有句子对均经过人工翻译和验证,确保了数据的准确性和质量。
  • 领域多样性:数据覆盖多个领域,能够满足不同应用场景的需求。

实验结果

在IndicTrans2-Distilled和NLLB-200两种多语言神经机器翻译模型上的实验结果表明,COILD能够显著提升模型在语言对、领域、自动评估指标和人工评估方面的性能,证明了高质量印度语言数据对机器翻译发展的重要性。

行业影响与开发者建议

  • 推动印度语言机器翻译发展:COILD为印度语言机器翻译研究提供了宝贵的数据资源,有助于提升模型性能和应用效果。
  • 促进多语言模型开发:该资源不仅适用于印度语言机器翻译,还为多语言模型的开发提供了新的思路和方向。
  • 建议开发者:建议机器翻译研究人员和开发者充分利用COILD资源,改进现有模型,并探索新的应用场景。

未来展望

COILD的发布标志着印度语言机器翻译领域的一个重要里程碑。随着更多高质量数据的引入和模型的不断优化,印度语言机器翻译的应用前景将更加广阔。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-09-25)

—— 完 ——

主题标签: #机器翻译 #多语言模型 #印度语言 #arXiv #平行语料库

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…