Hugging Face提出AAG技术：提升跨语言语音克隆中说话人相似度与口音一致性

摘要：Hugging Face的研究团队提出了一种名为Accent Analogy Guidance (AAG)的新方法，用于解决跨语言零样本语音合成中参考口音泄漏的问题。AAG通过从模型预测中估计并减去口音方向，使语音中的口音得以保留而说话人特征被抵消，从而提升说话人相似度。该方法在多个开源TTS模型上进行了验证，结果显示AAG在保持口音一致性的同时，显著提升了说话人相似度。例如，在OmniVoice模型上，ΔSIM指标提升了0.11至0.27，展示了AAG在跨语言语音克隆中的潜力。

---

背景与挑战

在跨语言零样本语音合成（cross-lingual zero-shot text-to-speech）中，参考语音的口音常常会泄漏到目标语音中，导致合成语音的口音与目标语言不一致。这一问题限制了语音克隆技术在多语言场景中的应用效果。

技术突破：Accent Analogy Guidance (AAG)

Hugging Face的研究团队提出了一种名为Accent Analogy Guidance (AAG)的新方法，旨在解决上述问题。AAG的核心思想是通过以下步骤实现口音与说话人特征的分离：

1. 估计口音方向：从模型对某一合成语音在两种语言中的预测中估计口音方向。
2. 减去口音方向：通过减去估计的口音方向，使语音中的口音得以保留，而说话人特征被抵消。
3. 重加权无分类器指导：在参考语音和文本之间重新加权无分类器指导，并使用其变体来保持身份-口音权衡曲线。

实验与结果

研究团队在四个开源TTS模型上验证了AAG的效果：

• OmniVoice：在三个测试集上，ΔSIM指标提升了0.11至0.27，口音评分在1-5的范围内从3.51提升至4.28，而说话人相似度保持在0.29。
• MaskGCT和CosyVoice 2：同样位于身份-口音权衡曲线之上，展示了AAG的通用性。
• F5-TTS：在口音一致性方面，AAG的表现优于任何重加权设置。

此外，研究还使用了无LLM的语言ID度量方法和十二个听众的评估小组来验证AAG的效果，结果一致表明AAG在提升口音一致性和说话人相似度方面的有效性。

行业影响与未来展望

AAG技术的提出为跨语言语音克隆领域提供了新的技术路径，特别是在多语言应用场景中具有重要意义。以下是AAG的潜在应用场景：

• 多语言语音助手：提升语音助手在不同语言环境下的口音一致性。
• 影视配音：实现更自然的跨语言配音效果。
• 虚拟现实与游戏：增强虚拟角色的语音表现力。

开发者建议

对于开发者而言，AAG技术可以作为一个模块化的组件集成到现有的TTS系统中，以提升跨语言语音合成的质量。同时，开发者可以结合AAG与其他技术（如情感感知语音合成）来进一步增强语音合成的表现力。

---

消息来源：Hugging Face Daily Papers (2026-09-24)

—— 完 ——

主题标签： #Hugging Face 关注 #语音合成 关注 #跨语言 关注 #TTS 关注 #口音一致性 关注