智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Xpeng AI #X-AuT #语音大模型 #模型压缩 #LoRA

Xpeng AI发布X-AuT:高效压缩语音大模型音频编码器的新框架

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Xpeng AI推出了一种名为X-AuT的新框架,用于高效压缩语音大语言模型(LLM)的音频编码器。X-AuT通过短行为探测选择层组合,并利用表示对齐、跨尺度蒸馏、计划性学生策略监督和LoRA微调来恢复剪枝后的模型,从而在降低推理成本的同时保持高精度。在十个中英文基准测试中,X-AuT将Qwen3-ASR-0.6B的音频编码器层从18层压缩到16层,宏平均错误率从5.61%降至5.27%。该框架展示了在保持模型性能的同时减少计算资源消耗的潜力,为语音LLM的优化提供了新的思路。


背景与挑战

在语音大语言模型(LLM)的应用中,音频编码器的深度对推理成本有显著影响。然而,移除完整的编码器层可能导致嵌入扰动,进而引发解码器错误,如删除和提前结束序列等问题。

X-AuT框架介绍

Xpeng AI推出的X-AuT框架通过以下技术解决了上述问题:

  • 短行为探测:选择最优的层组合以减少模型复杂度。
  • 表示对齐:确保剪枝后的模型与原始模型的表示一致。
  • 跨尺度蒸馏:在不同尺度上传递知识以恢复模型性能。
  • 计划性学生策略监督:在训练过程中引入监督机制以优化学生模型。
  • LoRA微调:使用低秩适应(LoRA)技术进行微调,进一步提升模型性能。

实验结果

在十个公共中英文基准测试中,X-AuT将Qwen3-ASR-0.6B的音频编码器层从18层压缩到16层,宏平均错误率从5.61%降至5.27%。此外,14层模型的参数减少了20.7%,但错误率仅略微上升至5.75%。在渐进式剪枝方案下,X-AuT的表现优于直接剪枝(5.75% vs. 6.73%)。

行业影响

X-AuT框架为语音LLM的优化提供了新的思路,特别是在保持模型性能的同时降低推理成本方面。其应用场景包括语音识别、语音合成和对话系统等。开发者可以利用X-AuT框架优化现有的语音LLM模型,提升其在资源受限环境中的表现。

开发者建议

  • 模型优化:使用X-AuT框架对现有语音LLM进行优化,以降低推理成本。
  • 实验验证:在不同的应用场景中验证X-AuT的效果,并根据具体需求调整剪枝策略。
  • 持续关注:关注Xpeng AI的进一步研究进展,以获取更多关于X-AuT的优化技巧和应用案例。

消息来源:Hugging Face Daily Papers (2026-09-10)

—— 完 ——

主题标签: #Xpeng AI #X-AuT #语音大模型 #模型压缩 #LoRA

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…