AWS发布Amazon SageMaker HyperPod：多团队共享GPU集群的高效架构

摘要：AWS推出了Amazon SageMaker HyperPod，这是一套用于多团队共享GPU集群的参考架构。该架构通过AWS IAM Identity Center进行身份认证，利用SageMaker AI域和Kubernetes命名空间实现团队隔离，并结合HyperPod任务治理机制确保资源分配的公平性。此外，该架构还支持命名空间级别的成本分配，为团队提供透明的GPU使用成本视图。

---

核心架构概述

AWS近日发布了Amazon SageMaker HyperPod，这是一套用于多团队共享GPU集群的参考架构，旨在解决企业在生成式AI操作中面临的资源隔离、公平分配和成本归属问题。以下是该架构的主要组成部分：

1. 用户身份与认证

• AWS IAM Identity Center：作为集中化的身份认证层，与外部身份提供商（如Microsoft Entra ID）集成，管理用户身份和组权限。
• 身份联合：支持与企业现有的身份管理系统无缝集成，避免重复的用户账户管理。

2. SageMaker AI域

• 团队隔离：每个团队拥有独立的SageMaker AI域，提供定制的用户界面和执行角色，确保团队之间的操作独立性和数据隔离。
• 单点登录（SSO）：用户通过Identity Center登录后，直接进入其团队的SageMaker Studio环境。

3. EKS访问控制

• Kubernetes RBAC：通过EKS访问条目，将IAM角色映射到Kubernetes权限，确保用户只能访问其团队命名空间内的资源。
• 命名空间隔离：每个团队被分配一个专用的Kubernetes命名空间，用于隔离其工作负载（如训练任务、推理端点）。

4. HyperPod任务治理

• 资源配额管理：为每个团队定义GPU和CPU的使用配额，防止单个团队过度占用共享资源。
• 调度优先级：根据任务类型和团队优先级分配资源，确保关键任务（如生产推理）优先获得资源。

5. 存储解决方案

• POSIX文件系统：使用Amazon FSx for Lustre或OpenZFS为团队提供高性能共享存储，支持分布式训练和模型检查点。
• 对象存储：通过Amazon S3进行对象存储，团队通过IAM角色访问其专属的存储桶或使用团队前缀进行隔离。

6. 成本分配与监控

• Kubecost集成：通过Kubecost实现命名空间级别的成本分配，为团队提供详细的GPU、CPU、内存和网络使用报告，支持内部成本分摊和预算管理。
• Amazon Managed Grafana：为团队提供只读访问权限的监控仪表板，实时查看其工作负载的性能和资源消耗。

技术亮点

• 多团队隔离与协作：通过命名空间和RBAC机制，实现团队之间的严格隔离，同时支持团队间的高效协作。
• 资源公平分配：HyperPod任务治理机制确保资源分配的公平性，避免资源垄断和过度竞争。
• 透明的成本管理：命名空间级别的成本分配为团队提供了清晰的GPU使用成本视图，支持精细化的预算管理和成本控制。

行业影响与开发者建议

• 企业级AI部署的加速器：该架构为需要多团队协作的企业提供了一个高效、可扩展的AI基础设施解决方案，显著降低了管理复杂性和运营成本。
• 资源优化与成本控制：开发者应充分利用HyperPod的任务治理和成本分配功能，优化资源使用并控制成本。
• 安全性与合规性：建议企业结合IAM策略和Kubernetes RBAC，确保数据安全和合规性。

结论

Amazon SageMaker HyperPod为多团队共享GPU集群提供了一个全面且灵活的解决方案，结合了身份认证、团队隔离、资源治理和成本分配等关键功能。该架构不仅适用于现有的EKS集群，还可以扩展到其他编排后端，为企业AI基础设施的现代化提供了坚实的基础。

---

消息来源：AWS Machine Learning Blog (2026-10-08)

—— 完 ——

主题标签： #AWS 关注 #SageMaker 关注 #多团队协作 关注 #GPU集群 关注 #资源治理 关注