AuK开源发布：统一语音生成与编辑的AI基础模型

摘要：AuK是一款开源的基础模型，旨在统一语音生成与编辑，通过自然语言指令和音频上下文接口实现多任务处理。该模型在构建约30.3亿条指令-音频实例和195万小时有效监督数据的基础上，融合了多模态大语言模型、联合训练的VAE以及混合校正流Transformer架构。AuK在零样本和指令控制下的语音生成以及通用指令指导的编辑任务中表现出色，同时在信号级恢复任务中也具有竞争力。此外，AuK-Flash版本通过一致性初始化和任务路由的Decoupled DMD技术实现了4.5倍的推理加速。AuK的发布为语音生成与编辑领域提供了新的研究工具，推动了AI技术在音频处理中的应用。

---

核心突破

• 统一语音生成与编辑：AuK通过自然语言指令和音频上下文接口，实现了语音生成与编辑的统一处理，简化了多任务操作流程。
• 大规模数据构建：模型基于约30.3亿条指令-音频实例和195万小时有效监督数据训练，确保了模型的泛化能力和任务适应性。
• 创新架构设计：融合多模态大语言模型、联合训练的VAE以及混合校正流Transformer架构，提升了模型在复杂音频处理任务中的表现。
• 高效推理优化：AuK-Flash版本通过一致性初始化和任务路由的Decoupled DMD技术，实现了4.5倍的推理加速，降低了模型应用的成本。

技术亮点

1. 多模态融合：结合语义和声学条件建模，提升了模型对复杂音频任务的处理能力。
2. 任务自适应训练：从生成任务预热到联合生成-编辑预训练，再到后训练优化，模型训练流程高度专业化。
3. 强化学习与反馈优化：采用基于奖励的强化学习和人类反馈偏好优化技术，进一步提升了模型在开放性编辑任务中的表现。

行业影响

AuK的发布为语音生成与编辑领域带来了新的技术突破，尤其在多模态AI应用和音频处理方面具有重要意义。其开源特性使得研究人员和开发者能够更便捷地利用该模型进行创新，推动AI技术在音频领域的应用和发展。

开发者建议

• 模型应用：建议开发者利用AuK进行语音生成、音频编辑和多模态交互等任务，探索其在不同场景下的应用潜力。
• 性能优化：针对特定任务进行微调，进一步提升模型的表现和效率。
• 社区参与：积极参与AuK开源社区，分享使用经验与改进建议，共同推动模型的发展与完善。

---

消息来源：Hugging Face Daily Papers (2026-09-08)

—— 完 ——

主题标签： #AuK 关注 #开源模型 关注 #语音生成 关注 #音频编辑 关注 #多模态AI 关注