Hugging Face推出Pruned CTC与LLM-CTC:优化大语言模型语音识别效率
摘要:Hugging Face的研究团队提出了一种名为Pruned CTC的新方法,通过限制对齐计算范围并保留完整词汇归一化,大幅降低大词汇量语音识别训练中的内存消耗。此外,基于Pruned CTC开发的LLM-CTC技术,能够将预训练大语言模型(LLM)适配于非自回归语音识别任务,同时保持因果注意力和原生词汇库。实验结果表明,Pruned CTC在内存使用上减少5.1倍,而LLM-CTC在识别速度上提升7到10倍,同时保持与标准CTC相近的准确性。这项研究为离线与流式语音识别场景中的大语言模型应用提供了更高效的技术解决方案。
技术背景
语音识别技术在过去几年取得了显著进展,但传统基于CTC(Connectionist Temporal Classification)的训练方法在处理大词汇量时面临内存消耗过高的问题。Hugging Face的研究团队提出了一种名为Pruned CTC的新方法,通过限制对齐计算范围,仅对目标词汇和空白符号进行计算,从而大幅降低内存消耗,同时保持完整的词汇归一化。
技术亮点
-
Pruned CTC方法:
- 内存优化:通过限制对齐计算范围,将内存消耗减少到原来的1/5.1。
- 等效性证明:在损失和梯度计算上,Pruned CTC与标准CTC完全等效。
- 实验验证:在Zipformer-M编码器和18万词汇量下,Pruned CTC在三个语料库上均达到与标准CTC相同的准确性。
-
LLM-CTC技术:
- 非自回归语音识别:将预训练LLM适配于非自回归语音识别任务。
- 因果注意力保持:在适配过程中保持因果注意力机制。
- 流式识别支持:扩展到有界历史流式识别,避免了分块级别的语音-文本对齐。
- 性能提升:在GigaSpeech数据集上,LLM-CTC在六种不同规模的Qwen3模型上均表现出色,识别速度提升7到10倍,同时相对WER保持在7%以内。
行业影响
Pruned CTC和LLM-CTC的推出,标志着大语言模型在语音识别领域的重大突破。这项技术不仅解决了传统CTC方法在内存消耗上的瓶颈,还为大词汇量语音识别提供了更高效、更具扩展性的解决方案。其在离线与流式识别场景中的优异表现,使其在智能语音助手、实时翻译系统等领域具有广泛的应用前景。
开发者建议
- 优化内存使用:开发者可以利用Pruned CTC方法优化现有语音识别模型的内存使用。
- 适配LLM模型:对于已经使用LLM的开发者,可以尝试将LLM-CTC技术集成到现有系统中,以提升识别速度和准确性。
- 关注后续研究:Hugging Face团队可能会进一步优化和扩展该技术,建议开发者持续关注相关进展。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-27)
主题标签: #Hugging Face #语音识别 #大语言模型 #内存优化 #LLM-CTC
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区