arXiv提出新型ASR管道：显著提升带口音对话中的实体与填充词识别率

摘要：arXiv发布了一项关于带口音对话语音识别（ASR）的研究，提出了一种三阶段管道方法，显著提升了实体和填充词的识别率。该方法通过启发式SQL过滤器筛选富含实体的训练数据，使用Qwen2.5-Omni-3B微调的区域LoRA适配器生成逐字和校正后的转录文本，并通过基于LLM的六分类错误分类法进行验证。实验结果表明，该管道在实体召回率上达到80-85%，填充词召回率达到76-86%，并显著优于现有商业ASR系统及Whisper模型。

---

研究背景与挑战

在语音识别（ASR）领域，针对带口音的对话进行优化一直是难点。现有的ASR系统在处理口音时，往往难以准确识别命名实体和填充词（如“嗯”“啊”），这对语言学习反馈等应用场景至关重要。

技术方法

研究团队提出了一种三阶段管道方法：

1. 数据筛选与增强：通过启发式SQL过滤器，从大量对话数据中筛选出富含实体的训练数据，其实体密度是随机采样的2.8倍。
2. 模型微调：使用Qwen2.5-Omni-3B模型进行微调，生成逐字和校正后的转录文本。该方法通过区域LoRA适配器实现对特定口音的适配。
3. 错误分类与验证：引入基于LLM的六分类错误分类法，对识别结果进行验证，确保高准确性。

实验结果

该管道在6000条测试语句上的表现如下：

• 实体召回率：80-85%，相比基线模型提升了27-32个百分点。
• 填充词召回率：76-86%，相比基线模型提升了71-81个百分点。
• 词错误率（WER）：6-10%，在保持低WER的同时，显著提升了实体和填充词的识别率。

此外，实验还表明，仅通过数据筛选就能带来2.8-4.2个百分点的实体召回率提升（p<0.0001），验证了数据质量对ASR性能的关键影响。

技术亮点

• 多阶段管道设计：结合数据筛选、模型微调和错误分类，实现端到端的高效优化。
• 区域LoRA适配器：针对特定口音进行微调，提升模型对不同口音的适应能力。
• LLM辅助验证：利用LLM进行错误分类，确保识别结果的准确性。

行业影响与开发者建议

这项研究为带口音对话的ASR应用提供了新的技术路径，特别是在语言学习、教育反馈和跨文化交流等领域具有重要意义。开发者可以借鉴该方法，通过数据筛选和模型微调提升ASR系统的性能。此外，LLM辅助验证的应用也为AI系统的鲁棒性提升提供了新的思路。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-21)

—— 完 ——

主题标签： #ASR 关注 #LoRA 关注 #Qwen 关注 #LLM 关注 #语音识别 关注