Hugging Face发布儿童ASR自适应框架：解决儿童语音识别中的成人语音遗忘问题

摘要：Hugging Face发布了一项针对儿童自动语音识别（ASR）系统的自适应研究，重点解决儿童语音识别中成人语音遗忘的难题。研究比较了全量微调、LoRA和权重空间合并等方法在编码器-解码器、编码器-CTC和AudioLLM架构上的表现，并引入了Retention Index、Child Adaptation Gain和Adaptation Recovery等指标来量化适应与保留的权衡。实验表明，双语适应比特定语言适应更稳定，权重空间合并方法在编码器-CTC、Whisper和AudioLLM架构中效果显著，而编码器-解码器模型在原始WER上仍以直接双语微调表现最佳。

---

研究背景与挑战

自动语音识别（ASR）系统在儿童和非母语者语音识别中表现不佳，而将成人ASR模型直接适应儿童语音可能导致成人语音识别性能下降。这种现象被称为“成人语音遗忘”。为了解决这一问题，Hugging Face的研究团队提出了一种新的自适应框架，并进行了深入实验研究。

方法与实验

研究团队比较了以下几种方法：

• 全量微调（Full Fine-Tuning）：对整个模型进行微调。
• 低秩适应（LoRA）：通过低秩矩阵分解进行参数更新。
• 权重空间合并（Weight-Space Merging）：在适应过程中动态合并权重。

实验使用了阿拉伯语母语和非母语儿童语音、英语MyST儿童语音，以及MGB-2和LibriSpeech测试集上的成人语音基准数据。评估指标包括词错误率（WER）、保留指数（Retention Index）、儿童适应增益（Child Adaptation Gain）和适应恢复（Adaptation Recovery）。

主要发现

1. 儿童适应必要性：儿童适应对于非母语阿拉伯语和英语儿童语音尤其重要，但直接适应通常会降低成人ASR性能。
2. 双语适应优势：双语适应比特定语言适应更稳定。
3. 权重空间合并效果：权重空间合并方法在编码器-CTC、Whisper和AudioLLM架构中效果显著，其中LERP方法倾向于保留成人语音，而TIES方法则能恢复更强的儿童语音适应增益。
4. 编码器-解码器模型表现：对于编码器-解码器模型，直接双语微调在原始WER上仍然表现最佳。

行业影响与建议

这项研究为儿童语音识别领域提供了新的技术路径，特别是在多语言和多模态环境中。开发者可以参考以下建议：

• 优先考虑双语适应：在资源允许的情况下，优先考虑双语适应以获得更稳定的性能。
• 结合权重空间合并方法：在编码器-CTC、Whisper和AudioLLM架构中，结合权重空间合并方法可以有效提升适应效果。
• 关注成人语音保留：在儿童适应过程中，应关注成人语音的保留问题，避免性能下降。

未来展望

未来，研究团队计划进一步优化自适应方法，并探索更多跨语言和跨模态的适应策略，以提升ASR系统在复杂环境中的表现。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-08)

—— 完 ——

主题标签： #Hugging Face 关注 #ASR 关注 #儿童语音识别 关注 #多语言模型 关注 #AI自适应 关注