Fish Audio发布Drama 3：开源语音生成模型实现多角色场景与实时音频编辑

摘要：Fish Audio推出了开源语音生成模型Drama 3，该模型基于35B参数的混合专家（MoE）架构，单词激活参数为3B。Drama 3具备多角色场景配音、实时音频编辑、长音频合成等能力，并支持多轮修订和文本流输入。其核心创新包括混合线性注意力机制与新型代码本多词预测音频解码器，推理速度达到每秒271帧，远超前代模型。模型已开源并支持通过SGLang-Omni进行推理，为开发者提供了强大的语音生成工具。

---

技术架构与核心机制

Fish Audio Drama 3 基于一个35B参数的混合专家（MoE）架构，其中每个token激活3B参数。其核心机制包括：

1. 混合线性注意力机制：该机制结合了线性注意力的计算效率与多头注意力的表达能力，显著降低了显存开销和计算复杂度。
2. 代码本多词预测音频解码器：该解码器通过预测每个音频帧的声学代码本，并在专用层中对整个序列进行注意力计算，实现了更精准的音频生成。
3. 多轮修订与实时编辑：Drama 3支持在多角色场景中实时修订音频内容，并能够根据后续对话调整之前的音频输出。
4. 长音频合成与流式输入：该模型能够处理长篇文本输入并生成连贯的音频流，支持实时交互场景。

工程权衡与实测表现

Drama 3 在推理速度上表现出色，在单个H200 GPU上每秒可处理271帧音频，而其前代模型Fish Audio S2仅为177帧。尽管Drama 3的参数数量是S2的七倍多，但其优化后的架构和高效的解码器设计弥补了这一差距。

然而，Drama 3 的训练成本较高，需要大量的计算资源和时间。此外，其多角色场景处理能力在复杂场景中仍可能面临挑战，例如角色间的声音区分和情感表达。

开发者落地与部署建议

1. 模型部署：开发者可以利用GitHub和Hugging Face提供的预训练模型权重，通过SGLang-Omni进行推理部署。
2. 性能优化：建议在资源受限的环境中采用量化技术或模型剪枝，以降低显存占用和推理延迟。
3. 应用场景：Drama 3 适用于多角色配音、虚拟助手、音频书籍制作等场景。开发者可以结合其他工具（如语音识别和自然语言处理）构建更复杂的语音交互系统。

未来展望

Drama 3 的发布标志着语音生成技术在多角色场景和实时编辑方面的重大突破。未来，随着模型架构的进一步优化和训练数据的扩展，Drama 3 有望在更多领域（如医疗、教育和娱乐）中得到广泛应用。

---

消息来源：Hugging Face Daily Papers (2026-10-13)

—— 完 ——

主题标签： #Fish Audio 关注 #开源模型 关注 #语音生成 关注 #多角色场景 关注 #实时音频编辑 关注