ArXiv发布ASR微调新方法：基于嵌入的子集选择提升识别效率

摘要：ArXiv发布了一项关于自动语音识别（ASR）模型微调的新研究，提出了一种基于嵌入的子集选择方法，以减少训练数据量并提升模型适应效率。该方法利用Whisper模型的预训练编码器，将音频样本映射到固定维度的嵌入空间，并通过贪心k-center算法选择多样且具有代表性的训练子集。实验表明，该方法在希伯来语和丹麦语数据集上均优于随机采样，尤其在训练数据量较少时效果显著。

---

研究背景与动机

自动语音识别（ASR）模型，如OpenAI的Whisper，在语音识别质量上取得了显著进步，但其微调过程仍然昂贵，尤其是在处理大量转录音频数据时。这使得许多从业者在将模型适应到新语言或领域时面临挑战。

技术机制剖析

本研究提出了一种基于嵌入的子集选择方法，通过以下步骤实现：

1. 嵌入映射：利用Whisper的预训练编码器，将每个音频样本映射到固定维度的嵌入空间。
2. 贪心k-center算法：在嵌入空间中应用贪心k-center算法，选择多样且具有代表性的训练子集。

实验结果与评估

研究在希伯来语和丹麦语数据集上进行了评估，结果表明：

• 子集选择有效性：k-center算法选择的子集在识别准确率上优于随机采样，尤其是在训练数据量较少时。
• 词汇多样性分析：k-center选择的子集在词汇多样性上表现更优，能够捕捉更广泛的语言内容，这可能是其性能提升的原因之一。

工程权衡与实际应用建议

• 优势：该方法能够有效减少训练数据量，降低微调成本，同时保持较高的识别准确率。
• 局限性：在处理极低资源语言或高度专业化的领域时，可能需要进一步优化嵌入空间或算法参数。
• 部署建议：建议在实际应用中结合具体场景需求，调整k值和嵌入维度，以达到最佳性能与效率的平衡。

结论

基于嵌入的子集选择方法为ASR模型的微调提供了一种实用且高效的策略，尤其适用于资源有限的环境。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-27)

—— 完 ——

主题标签： #ASR 关注 #模型微调 关注 #嵌入技术 关注 #ArXiv 关注 #语音识别 关注