AWS发布Ray Serve DLC：简化TorchServe迁移与GPU推理部署

摘要：AWS推出了Ray Serve Deep Learning Container（DLC），旨在简化从TorchServe迁移并支持GPU推理工作负载。Ray Serve DLC提供预测试的容器镜像，集成了深度学习框架、GPU驱动和推理服务层，解决了TorchServe停止维护后团队面临的依赖管理和安全补丁问题。该容器支持在Amazon EKS上部署模型，并提供完整的代码示例和部署指南，帮助开发者快速上手。

---

AWS发布Ray Serve Deep Learning Container：简化GPU推理部署

随着TorchServe的停止维护，许多团队面临管理整个GPU推理堆栈的挑战，包括依赖项管理、安全补丁和版本兼容性。AWS推出的Ray Serve Deep Learning Container（DLC）旨在解决这些问题，提供以下核心优势：

• 预测试容器镜像：DLC集成了深度学习框架（如PyTorch）、GPU驱动和推理服务层（如Ray Serve），并经过全面测试，确保各组件之间的版本兼容性和稳定性。
• 简化部署流程：开发者无需手动配置和优化GPU堆栈，DLC提供了开箱即用的解决方案，支持在Amazon EKS上快速部署模型。
• 安全性与维护性：AWS负责定期应用安全补丁和更新，团队无需担心依赖项的安全问题。

技术亮点解析

1. Ray Serve集成：Ray Serve DLC集成了Ray Serve框架，支持高性能的模型推理服务。通过简单的Python类定义和装饰器，开发者可以轻松创建和部署模型端点。
2. 多环境支持：DLC提供针对Amazon EKS、Amazon EC2和Amazon SageMaker的专用容器镜像，满足不同部署环境的需求。
3. 灵活的配置方式：通过ConfigMap，开发者可以将自定义的推理代码注入容器，而无需重新构建镜像，从而实现更灵活的部署。

部署示例

以下是一个在Amazon EKS上部署Qwen3-VL-2B视觉语言模型的示例：

1. 准备工作：确保AWS账户已启用计费，并配置好AWS CLI、eksctl和kubectl工具。
2. 部署集群：使用提供的脚本创建EKS集群和GPU节点组。
3. 部署Ray Serve：将Ray Serve DLC与自定义的推理代码一起部署到集群中。
4. 测试推理：通过端口转发访问推理端点，并使用curl命令发送测试请求。

行业影响与开发者建议

• 迁移路径：对于当前使用TorchServe的团队，Ray Serve DLC提供了一个平滑的迁移路径，消除了维护负担并提升了安全性。
• 扩展性：对于需要多节点分布式推理的场景，KubeRay可以与Ray Serve DLC结合使用，实现跨机器的模型并行和水平自动扩展。
• 性能优化：DLC的预测试特性确保了推理性能的最佳化，开发者可以专注于模型优化而非基础设施管理。

结论

Ray Serve DLC的发布标志着AWS在简化AI推理部署方面的又一重要举措。通过提供预测试、安全且易于使用的容器镜像，AWS帮助开发者更高效地部署和管理GPU推理工作负载，降低了运维成本并提升了整体生产力。

---

消息来源：AWS Machine Learning Blog (2026-09-09)

—— 完 ——

主题标签： #AWS #Ray Serve #GPU推理 #TorchServe #容器化