AWS 发布 vLLM-Omni DLC：支持多模态 AI 模型实时双向流式推理

摘要：AWS 推出了 vLLM-Omni Deep Learning Container (DLC)，这是一款支持多模态 AI 模型实时双向流式推理的解决方案。该 DLC 基于 vLLM 框架扩展，支持文本、音频、图像和视频的生成与处理。通过与 Amazon SageMaker AI 集成，用户可以部署如 Qwen3-TTS 等模型，实现实时语音生成和双向音频流式传输。该技术为构建实时语音应用、交互式学习工具和智能助手提供了新的可能性，并展示了 AWS 在多模态 AI 基础设施领域的持续创新。

---

AWS 发布 vLLM-Omni DLC：支持多模态 AI 模型实时双向流式推理

AWS 近日推出了 vLLM-Omni Deep Learning Container (DLC)，这是一款专为多模态 AI 模型设计的解决方案，支持实时双向流式推理。以下是主要技术亮点：

技术亮点

1. 多模态支持：vLLM-Omni DLC 扩展了 vLLM 的功能，支持文本、音频、图像和视频的生成与处理。
2. 实时双向流式传输：通过与 Amazon SageMaker AI 集成，用户可以实现实时双向流式传输，例如将文本输入转换为语音输出，并进行实时交互。
3. Qwen3-TTS 集成：作为示例，AWS 展示了如何部署 Qwen3-TTS 模型，实现文本到语音的实时转换，并通过 Gradio 应用进行流式传输。
4. 异构管道抽象：vLLM-Omni 提供了异构管道抽象，可以协调多阶段模型工作流，包括自回归和扩散阶段。
5. 兼容 OpenAI API：vLLM-Omni 提供了与 OpenAI 兼容的 API，方便开发者迁移和集成。

应用场景

• 实时语音应用：如语音助手、交互式学习工具等。
• 多模态 AI 系统：结合文本、音频、图像和视频的处理能力，构建复杂的 AI 应用。
• 智能客服系统：通过实时语音生成和双向流式传输，提升客户服务的效率和体验。

部署步骤

1. 克隆示例代码库：使用 Git 克隆 AWS 提供的示例代码库。
2. 安装依赖包：创建虚拟环境并安装所需的 Python 包。
3. 配置 SageMaker 执行角色：设置 SageMaker AI 执行角色和区域。
4. 部署模型端点：使用 DLC 部署模型端点，并进行流式测试。
5. 启动 Gradio 应用：运行 Gradio 客户端，访问应用并生成流式语音。

行业影响

vLLM-Omni DLC 的发布标志着 AWS 在多模态 AI 基础设施领域的又一重要进展。它为开发者提供了强大的工具，以构建更复杂、更高效的 AI 应用。同时，该 DLC 的实时双向流式传输能力也为 AI 模型的部署和应用带来了新的可能性。

开发者建议

• 探索多模态应用：开发者可以利用 vLLM-Omni DLC 的多模态支持，探索新的 AI 应用场景。
• 优化流式传输：关注流式传输的性能优化，确保实时性和稳定性。
• 集成其他模型：尝试将其他多模态模型与 vLLM-Omni DLC 集成，拓展应用范围。

结论

vLLM-Omni DLC 的发布为 AI 开发者提供了强大的多模态支持工具，推动了实时 AI 应用的发展。AWS 通过这一产品展示了其在 AI 基础设施领域的持续创新和领导力。

---

消息来源：AWS Machine Learning Blog (2026-09-28)

—— 完 ——

主题标签： #AWS #vLLM-Omni #多模态AI #实时推理 #SageMaker