AWS发布Amazon SageMaker HyperPod Inference Gateway：优化GPU推理性能

摘要：AWS近日推出了Amazon SageMaker HyperPod Inference Gateway，这是一款专为Kubernetes环境设计的GPU感知型推理路由解决方案。该系统通过实时GPU信号智能分配推理请求，将首字符延迟最高降低82%，且无需更改现有模型服务器或客户端应用。其核心功能包括多模型路由、LoRA适配器路由以及跨集群和跨区域的高效协调，旨在提升GPU利用率并优化大规模AI推理工作负载的性能。

---

核心突破

AWS推出的Amazon SageMaker HyperPod Inference Gateway是一款专为Kubernetes环境设计的GPU感知型推理路由解决方案，旨在解决大规模AI推理中的性能瓶颈问题。该系统通过以下核心功能实现性能优化：

• 实时GPU信号感知路由：利用实时GPU信号（如KV缓存利用率、队列深度等）智能分配推理请求，避免资源浪费并降低延迟。
• 多模型路由：支持单个网关处理多个模型，简化多模型部署的复杂性。
• LoRA适配器路由：将适配器请求路由到已加载适配器的pod，避免昂贵的适配器加载延迟。
• 跨集群与跨区域协调：通过第二层全局推理路由器（GIR），实现跨集群和跨区域的高效协调，支持故障转移和成本感知流量整形。

技术亮点

1. 两级架构设计：“一级”架构在每个HyperPod/EKS集群上部署，负责本地智能路由；“二级”架构提供跨集群和跨区域的高级协调功能。
2. Kubernetes原生集成：基于官方的Kubernetes Gateway API和Inference Extension构建，支持声明式配置，与现有Kubernetes工具（如kubectl、Helm等）无缝集成。
3. 性能提升显著：在混合GPU世代、突发流量和共享提示前缀等场景下，首字符延迟最高降低98%，吞吐量提升最高达50%。
4. 优雅故障处理与自愈能力：在pod故障、池耗尽、集群故障和区域故障等情况下，系统能够自动降级并恢复，确保高可用性。

行业影响

• 提升AI推理效率：通过智能路由和资源优化，显著提升GPU利用率，降低推理成本。
• 简化多模型管理：支持多模型路由，简化复杂AI工作负载的部署和管理。
• 增强系统可靠性：通过跨集群和跨区域协调，提升AI推理系统的整体可靠性和容错能力。
• 推动AI应用落地：为开发者提供更高效、更可靠的推理解决方案，加速AI技术在各行业的应用。

开发者建议

• 快速部署：利用AWS EKS CLI或控制台快速安装和配置Inference Gateway。
• 优化路由策略：根据具体工作负载调整路由参数（如KV缓存利用率、队列深度等），以获得最佳性能。
• 监控与调优：利用内置的可观测性功能，实时监控系统性能，并根据需要进行调整和优化。
• 探索高级功能：关注即将推出的Tier 2功能（如GIR、流量拆分等），以进一步提升系统性能和灵活性。

---

消息来源：AWS Machine Learning Blog (2026-09-18)

—— 完 ——

主题标签： #AWS 关注 #SageMaker 关注 #GPU推理 关注 #Kubernetes 关注 #智能路由 关注