Xpeng AI发布X-AuT:高效压缩语音大模型音频编码器的新框架
摘要:Xpeng AI推出了一种名为X-AuT的新框架,用于高效压缩语音大语言模型(LLM)的音频编码器。X-AuT通过短行为探测选择层组合,并利用表示对齐、跨尺度蒸馏、计划性学生策略监督和LoRA微调来恢复剪枝后的模型,从而在降低推理成本的同时保持高精度。在十个中英文基准测试中,X-AuT将Qwen3-ASR-0.6B的音频编码器层从18层压缩到16层,宏平均错误率从5.61%降至5.27%。该框架展示了在保持模型性能的同时减少计算资源消耗的潜力,为语音LLM的优化提供了新的思路。
背景与挑战
在语音大语言模型(LLM)的应用中,音频编码器的深度对推理成本有显著影响。然而,移除完整的编码器层可能导致嵌入扰动,进而引发解码器错误,如删除和提前结束序列等问题。
X-AuT框架介绍
Xpeng AI推出的X-AuT框架通过以下技术解决了上述问题:
- 短行为探测:选择最优的层组合以减少模型复杂度。
- 表示对齐:确保剪枝后的模型与原始模型的表示一致。
- 跨尺度蒸馏:在不同尺度上传递知识以恢复模型性能。
- 计划性学生策略监督:在训练过程中引入监督机制以优化学生模型。
- LoRA微调:使用低秩适应(LoRA)技术进行微调,进一步提升模型性能。
实验结果
在十个公共中英文基准测试中,X-AuT将Qwen3-ASR-0.6B的音频编码器层从18层压缩到16层,宏平均错误率从5.61%降至5.27%。此外,14层模型的参数减少了20.7%,但错误率仅略微上升至5.75%。在渐进式剪枝方案下,X-AuT的表现优于直接剪枝(5.75% vs. 6.73%)。
行业影响
X-AuT框架为语音LLM的优化提供了新的思路,特别是在保持模型性能的同时降低推理成本方面。其应用场景包括语音识别、语音合成和对话系统等。开发者可以利用X-AuT框架优化现有的语音LLM模型,提升其在资源受限环境中的表现。
开发者建议
- 模型优化:使用X-AuT框架对现有语音LLM进行优化,以降低推理成本。
- 实验验证:在不同的应用场景中验证X-AuT的效果,并根据具体需求调整剪枝策略。
- 持续关注:关注Xpeng AI的进一步研究进展,以获取更多关于X-AuT的优化技巧和应用案例。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-10)
主题标签: #Xpeng AI #X-AuT #语音大模型 #模型压缩 #LoRA
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区