智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #TTS #ASR #数据增强 #多语言模型 #语音识别

ArXiv发布基于音素的TTS增强ASR统一流程:显著提升语音识别性能

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种基于音素的TTS(文本到语音)到ASR(自动语音识别)增强的统一流程,旨在通过合成语音数据提升语音识别系统的性能。该流程结合了多语言TTS模型、基于音素的候选文本选择、语音参考过滤和ASR延续技术,并提出了一种基于音素频率引导选择(PFGS)的新方法。实验结果表明,在多种语言和测试集上,PFGS方法在60%的合成预算下相较于仅使用真实数据训练提升了12个测试集的性能,相较于随机选择提升了9个测试集的性能,最大相对词错误率(WER)降低了19.3%。该研究为语音识别中的数据增强提供了新的技术路径。


研究背景与动机

语音识别(ASR)系统的性能依赖于训练数据的质量和多样性。然而,真实世界的数据往往存在覆盖不足的问题。合成语音数据提供了一种可扩展的解决方案,但其有效性取决于文本选择、语音参考质量和合成数据量。

技术方法

ArXiv团队提出了一种基于音素的TTS到ASR增强的统一流程,主要特点包括:

  • 多语言TTS模型:使用F5-TTS架构从头训练的多语言TTS模型,支持语言ID条件化。
  • 基于音素的候选文本选择:通过语言特定的音素转换生成候选文本。
  • 语音参考过滤:根据语音质量过滤参考语音。
  • ASR延续:将合成语音与ASR系统结合进行训练。

此外,研究团队提出了一种**音素频率引导选择(PFGS)**方法,通过估计真实ASR训练标签中的音素频率对候选句子进行排序,从而选择更有效的合成数据。

实验结果

实验在阿拉伯语、法语、意大利语和葡萄牙语的13个测试集上展开,结果表明:

  • 在合成规模扫描中,随机增强在11个测试集上优于仅使用真实数据训练。
  • 在60%的合成预算下,PFGS方法在12个测试集上优于仅使用真实数据训练,在9个测试集上优于随机选择。
  • PFGS方法的最大相对词错误率(WER)降低了19.3%。

技术亮点

  • 多语言支持:该流程支持多种语言的语音识别数据增强。
  • PFGS方法:通过音素频率引导选择,显著提升了合成数据的有效性。
  • 性能提升显著:在多个测试集上实现了WER的显著降低。

行业影响与开发者建议

该研究为语音识别领域的数据增强提供了新的思路,尤其适用于数据稀缺的语言和领域。开发者可以参考以下建议:

  • 结合PFGS方法:在合成数据生成过程中引入PFGS方法,以提升数据质量。
  • 多语言应用:利用该流程的多语言特性,扩展到更多语言和领域。
  • 优化合成预算:根据实际需求和资源限制,合理分配合成数据比例。

消息来源:ArXiv cs.CL (2026-08-27)

—— 完 ——

主题标签: #TTS #ASR #数据增强 #多语言模型 #语音识别

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…