Kandinsky Lab发布KVAE系列多模态生成模型专用Tokenizer

摘要：Kandinsky Lab推出KVAE系列Tokenizer，涵盖音频、图像和视频领域，旨在提升多模态生成模型的性能。KVAE-Audio支持48kHz全频段音频压缩，KVAE-3D提供两种视频压缩模式，KVAE-2D则针对图像进行高效压缩。这些Tokenizer在重建质量和生成性能上均优于现有的开源方案，如Wan-2.2、HunyuanVideo-1.5等。团队公开了训练细节、模型选择方法和设计选择消融实验，为开发者提供全面支持。

---

核心突破

Kandinsky Lab近日发布了KVAE系列Tokenizer，专为多模态生成模型设计，涵盖音频、图像和视频领域。

• KVAE-Audio：支持48kHz全频段音频压缩，隐空间为64通道的50Hz，显著提升了音频数据的处理效率。
• KVAE-3D：提供两种因果视频压缩模式，分别为4x16x16和4x8x8，适应不同分辨率需求。
• KVAE-2D：针对图像进行高效压缩，输入压缩因子为8，通道数为32。

技术亮点

1. 性能优越：在重建质量（PSNR、LPIPS、PESQ等）和生成性能（Frechet Distance、CLIP score、CLAP score等）方面，KVAE系列Tokenizer均优于现有的开源方案，如Wan-2.2、HunyuanVideo-1.5、FLUX.2、MovieGen、StableAudio和MMAudio。
2. 开源开放：团队公开了详细的训练细节、模型选择方法和设计选择消融实验，为开发者提供了丰富的参考资源。
3. 多模态支持：全面覆盖音频、图像和视频领域，为多模态生成模型的应用提供了强有力的支持。

行业影响

KVAE系列Tokenizer的发布，标志着多模态生成模型在数据压缩和表示方面的重要进展。其优越的性能和开源特性，将吸引更多开发者使用，推动多模态AI技术的普及和应用。同时，KVAE的发布也为AI模型在音频、视频处理等领域的应用提供了新的可能性，例如在虚拟现实、增强现实和智能媒体生成等场景中。

开发者建议

• 关注开源代码：KVAE的代码已在GitHub上公开，建议开发者尽快试用并结合自身需求进行优化。
• 关注后续更新：Kandinsky Lab可能会发布更多相关工具和模型，建议持续关注其官方渠道。
• 参与社区讨论：加入相关技术社区，与其他开发者交流经验，共同推动多模态AI技术的发展。

原文链接

https://huggingface.co/papers/2608.05798

—— 完 ——

主题标签： #KVAE #多模态生成 #Tokenizer #Kandinsky Lab #开源模型