arXiv发布PTC-Bias框架：提升语音大语言模型中稀有词识别的效率

摘要：arXiv发布了一项名为PTC-Bias的新研究，提出了一种基于音素级时间竞争的两阶段框架，旨在提升语音大语言模型（SpeechLLMs）中稀有词识别的效率。该框架通过预填充阶段的音素解码和时间竞争生成紧凑的候选词列表，并在解码后进行局部校正，减少了近音词和分词错误，同时保持正确转录不变。实验表明，PTC-Bias在LibriSpeech数据集上对两种不同的SpeechLLMs和多达2000词的候选列表均表现出显著的性能提升。

---

技术背景与挑战

在语音大语言模型（SpeechLLMs）中，稀有词识别一直是一个具有挑战性的问题。尽管上下文偏置（contextual biasing）可以提升识别性能，但高效利用大规模候选词列表仍然困难重重。传统方法在处理近音词和分词错误时表现不佳，且需要额外的模型前向传递，增加了计算成本。

PTC-Bias框架概述

PTC-Bias是一种新颖的两阶段框架，旨在解决上述问题：

1. 预填充阶段（PTC Retrieval）：

   • 进行帧同步的音素解码，并在候选发音之间进行时间竞争。
   • 生成紧凑的候选词列表和对应的语音区间。

2. 校正阶段（PTC Correction）：

   • 在解码后，对检索到的候选词与转录文本中的不匹配区间进行局部竞争。
   • 选择性校正减少近音词和分词错误，同时保留正确的转录结果。

技术亮点

• 高效性：两阶段均使用相同的音素后验概率，无需额外的SpeechLLM前向传递，降低了计算成本。
• 性能提升：在LibriSpeech数据集上的实验表明，PTC-Bias在test-clean和test-other测试集上相对于CTC-Filter分别将B-WER降低了23.4%和23.9%，而U-WER几乎保持不变。
• 适用性广：该框架适用于包含多达2000词的候选列表，展示了其在处理大规模词汇时的潜力。

行业影响与开发者建议

PTC-Bias框架为语音大语言模型的应用场景提供了新的可能性，特别是在需要高准确性的任务中，如语音助手、实时翻译和语音识别系统。开发者可以参考以下建议：

• 优化候选词列表管理：通过PTC-Bias，开发者可以更高效地处理大规模候选词列表，提升识别性能。
• 减少计算成本：无需额外的模型前向传递，降低了计算资源的消耗。
• 提升用户体验：通过减少近音词和分词错误，用户体验将得到显著改善。

未来展望

未来，研究人员可以进一步优化PTC-Bias框架，探索其在多语言环境下的应用，并结合其他先进技术，如自监督学习和强化学习，以实现更高的识别准确性和效率。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-25)

—— 完 ——

主题标签： #语音识别 #大语言模型 #音素解码 #上下文偏置 #稀有词识别