arXiv发布ASSET框架：基于强化学习的自适应语音分割技术

摘要：arXiv发布了一种名为ASSET的新框架，通过强化学习（RL）实现自适应语音分割。该框架通过将音频序列分割为可变持续时间的片段，并将其聚合成连续的音频token，从而有效压缩编码器输出，同时保留任务相关信息。在自动语音识别（ASR）实验中，ASSET在英语LibriSpeech数据集上实现了与字符边界oracle相当的性能，同时减少了约25%的音频token数量；在普通话AISHELL数据集上，其性能优于电话边界oracle，展示了其在多语言语音识别任务中的潜力。此外，ASSET在非ASR任务中的探索性实验进一步表明，该框架能够根据任务需求自适应调整分割策略。

---

技术机制剖析

ASSET框架的核心在于其基于强化学习（RL）的自适应语音分割方法。该方法首先将音频序列分割为可变持续时间的片段，然后将这些片段聚合成连续的音频token，从而实现对编码器输出的有效压缩。具体来说，ASSET使用组相对策略优化（GRPO）算法，通过任务性能反馈和token率惩罚来训练分割器。这种方法不仅能够保留任务相关信息，还能根据任务需求自适应调整分割策略。

工程权衡与实测表现

ASSET在自动语音识别（ASR）任务中表现出色。在英语LibriSpeech数据集上，ASSET实现了与字符边界oracle相当的性能，同时减少了约25%的音频token数量。这表明ASSET在保持高识别准确率的同时，能够显著降低计算和存储开销。在普通话AISHELL数据集上，ASSET的性能优于电话边界oracle，进一步验证了其在多语言语音识别任务中的潜力。此外，ASSET在非ASR任务中的探索性实验表明，该框架能够根据任务需求自适应调整分割策略，展示了其在更广泛任务中的适用性。

开发者落地与部署建议

对于开发者而言，ASSET提供了一种高效且灵活的语音处理解决方案。开发者可以利用ASSET框架，根据具体应用场景调整分割策略，以实现最佳的性能和效率。此外，ASSET的开源特性使其易于集成到现有的语音处理流水线中，为开发者提供了更大的灵活性和可扩展性。

结论

ASSET框架通过基于强化学习（RL）的自适应语音分割技术，展示了其在多语言语音识别和非ASR任务中的巨大潜力。其高效的性能和灵活的适应性使其成为语音处理领域的一个重要突破。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-14)

—— 完 ——

主题标签： #强化学习 关注 #语音识别 关注 #自适应分割 关注 #arXiv 关注 #ASSET 关注