ArXiv发布基于音素的TTS增强ASR统一流程:显著提升语音识别性能
摘要:ArXiv团队提出了一种基于音素的TTS(文本到语音)到ASR(自动语音识别)增强的统一流程,旨在通过合成语音数据提升语音识别系统的性能。该流程结合了多语言TTS模型、基于音素的候选文本选择、语音参考过滤和ASR延续技术,并提出了一种基于音素频率引导选择(PFGS)的新方法。实验结果表明,在多种语言和测试集上,PFGS方法在60%的合成预算下相较于仅使用真实数据训练提升了12个测试集的性能,相较于随机选择提升了9个测试集的性能,最大相对词错误率(WER)降低了19.3%。该研究为语音识别中的数据增强提供了新的技术路径。
研究背景与动机
语音识别(ASR)系统的性能依赖于训练数据的质量和多样性。然而,真实世界的数据往往存在覆盖不足的问题。合成语音数据提供了一种可扩展的解决方案,但其有效性取决于文本选择、语音参考质量和合成数据量。
技术方法
ArXiv团队提出了一种基于音素的TTS到ASR增强的统一流程,主要特点包括:
- 多语言TTS模型:使用F5-TTS架构从头训练的多语言TTS模型,支持语言ID条件化。
- 基于音素的候选文本选择:通过语言特定的音素转换生成候选文本。
- 语音参考过滤:根据语音质量过滤参考语音。
- ASR延续:将合成语音与ASR系统结合进行训练。
此外,研究团队提出了一种**音素频率引导选择(PFGS)**方法,通过估计真实ASR训练标签中的音素频率对候选句子进行排序,从而选择更有效的合成数据。
实验结果
实验在阿拉伯语、法语、意大利语和葡萄牙语的13个测试集上展开,结果表明:
- 在合成规模扫描中,随机增强在11个测试集上优于仅使用真实数据训练。
- 在60%的合成预算下,PFGS方法在12个测试集上优于仅使用真实数据训练,在9个测试集上优于随机选择。
- PFGS方法的最大相对词错误率(WER)降低了19.3%。
技术亮点
- 多语言支持:该流程支持多种语言的语音识别数据增强。
- PFGS方法:通过音素频率引导选择,显著提升了合成数据的有效性。
- 性能提升显著:在多个测试集上实现了WER的显著降低。
行业影响与开发者建议
该研究为语音识别领域的数据增强提供了新的思路,尤其适用于数据稀缺的语言和领域。开发者可以参考以下建议:
- 结合PFGS方法:在合成数据生成过程中引入PFGS方法,以提升数据质量。
- 多语言应用:利用该流程的多语言特性,扩展到更多语言和领域。
- 优化合成预算:根据实际需求和资源限制,合理分配合成数据比例。
—— 完 ——消息来源:ArXiv cs.CL (2026-08-27)
主题标签: #TTS #ASR #数据增强 #多语言模型 #语音识别
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区