智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #SageMaker HyperPod #GPU可观测性 #分布式训练 #CloudWatch #EFA

SageMaker HyperPod强化GPU训练可观测性,跨层定位故障

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AWS为SageMaker HyperPod推出增强可观测性,覆盖EKS与Slurm编排的GPU训练集群。系统按30秒周期提供主机、作业和GPU基础指标,并通过CloudWatch DetectGroupOutliers比较同作业GPU的利用率、显存、温度、功耗和SM时钟;静态规则再识别XID、ECC、网络丢包/重传、热降频与过热,定位到作业、节点、加速器与rank。DCGM、Neuron和EFA深度指标按需开启,以控制高基数遥测成本。官方仅报告约1%—2% CPU与250—300MB内存开销,误报率、检测延迟及千卡成本仍需实测。


Amazon SageMaker HyperPod 的增强可观测性已在所有支持 HyperPod 的 AWS 区域上线。它不是简单增加几张利用率图表,而是把一次分布式训练的故障证据链串起来:主机资源、GPU/Neuron 状态、EFA 通信和作业状态被放进同一诊断视图,并最终落到具体的作业、集群、节点、加速器与 rank,即分布式训练进程的全局序号。

更新内容与适用边界

增强可观测性分为三层能力:

  • 默认指标:自动提供集群健康、CPU、磁盘、操作系统、GPU利用率与温度,以及每作业资源使用情况,默认按30秒周期采集。
  • 高级指标:按需开启完整 Node Exporter、NVIDIA DCGM与AWS Neuron加速器指标,以及EFA吞吐量、丢包、重传和错误数据。高级指标更适合长时间运行的大规模训练,因为短任务通常难以从长期趋势中获得足够收益。
  • 诊断摘要:调用CloudWatch的DetectGroupOutliers API,在同一训练作业内比较GPU利用率、显存、温度、功耗和SM时钟频率;静态规则进一步识别XID错误、ECC内存错误、加速器故障、EFA吞吐下降、丢包与重传、热降频及过热。

EKS集群通过amazon-sagemaker-hyperpod-observability附加组件接入,Slurm集群则通过sagemaker-observability扩展接入。快速配置默认启用可观测性且不能关闭,自定义配置才能选择指标类别。安装和变更权限由IAM控制,可避免集群管理员绕过既有治理流程修改监控配置。

技术机制:从集群平均数追踪到具体rank

系统采集的三层信号分别对应分布式训练中不同的故障面:

| 层级 | 主要信号 | 工程用途 | |---|---|---| | 主机与作业 | 集群健康、CPU、磁盘、OS、每作业资源 | 识别数据管线阻塞、主机资源争用和作业级异常 | | GPU与Neuron | 利用率、显存、温度、时钟、功耗、PCIe活动、DCGM与错误计数 | 识别硬件退化、异常卡、功耗约束和热降频 | | 网络与集合通信 | EFA吞吐、丢包、重传、错误、NCCL All-Reduce延迟 | 区分网络拥塞、链路重传和通信尾延迟 |

同步分布式训练对慢节点尤其敏感。单步耗时可近似理解为T_step ≈ max_i(t_compute,i) + T_collective:某个rank计算变慢后,其他rank会在集合通信屏障处等待;环形All-Reduce中,每个rank的通信量约为V_rank ≈ 2(N−1)S/N,其中S是张量大小,N是参与进程数。实际集合通信时间又取决于有效带宽B_eff,可粗略写为T_collective ≈ V/B_eff + latency。EFA丢包和重传不仅降低名义吞吐,还会拉长尾延迟,因此把EFA指标、NCCL延迟与GPU计算指标放在同一时间轴,比只看全舰队平均GPU利用率更有诊断价值。

诊断链采用两层判断。DetectGroupOutliers负责发现统计意义上的不对称:某张卡的利用率、显存、温度、功耗或SM时钟显著偏离同作业其他卡。静态规则则把已知故障签名映射为硬件、网络、限频或过热事件,并把事件绑定到作业、集群、节点、加速器和rank。前者擅长发现尚未被规则覆盖的异常,后者能解释异常属于哪类已知故障。

这种设计仍有两类误报风险。其一,同作业GPU如果型号不同,或不同rank承担数据加载、检查点、评估等不同职责,天然可能出现分布差异;启动、热身、保存检查点和结束阶段也可能产生短时离群值。其二,静态规则只能解释预先编码的故障模式,对未知硬件或软件异常能力有限。AWS没有公开异常检测的分组规则、统计窗口、阈值和置信度,生产团队应把启动与检查点阶段纳入告警抑制策略,并在规则层验证误报边界。

当指标存储选择Managed Prometheus for Grafana时,Grafana可视化路径是明确的,但AWS没有详细解释DetectGroupOutliers在该配置下如何获得指标并触发静态规则。采用这一组合前,应在目标环境验证诊断摘要是否与CloudWatch路径具有等价行为。

工程权衡:可见性、基数与成本

AWS给出的默认采集开销约为1%—2% CPU和250—300MB内存,但原文没有明确该数字是按节点、采集器还是整体统计,不能直接乘以GPU数量外推千卡集群成本。高级指标还会增加序列数量、标签维度以及CloudWatch或Prometheus的摄取量、存储量和告警评估次数。

指标基数是这里最重要的隐性成本。例如,1024张GPU各导出100条独立时间序列、按30秒采集一次,一天约产生2.95亿个样本点;这还只是说明基数效应的算例,并非AWS实测。节点、作业、rank、加速器和团队等标签还可能把同一底层指标拆成更多可查询序列。AWS称CloudWatch默认方案的价格低于Managed Prometheus,但无论选择哪种后端,高基数都会放大长期账单。

30秒采样间隔适合观察持续降速,却可能平滑掉秒级功耗尖峰或短暂网络拥塞。更细的采样是否值得,应根据故障持续时间、检测目标与摄取预算决定,而不是默认把间隔压到最低。

AWS新增CloudWatch作为默认指标存储,并通过SageMaker Insights提供原生控制台体验;已有Prometheus和Grafana体系的团队仍可选择Managed Prometheus。首次使用Amazon Managed Grafana时,还需要配置IAM Identity Center并添加Grafana用户。除安装权限外,生产环境还应限制仪表盘查询、日志读取和长期指标保留权限,避免训练拓扑、作业名称及团队归属信息被不必要地暴露。

性能证据与评测边界

目前公开的量化信息主要是默认采集开销。AWS没有披露异常检测准确率、误报率、每GPU每日误报数量、从故障发生到告警的延迟、事件确认时间、集群规模上限或千卡级指标摄取成本。界面示例中的节点数、GPU数量和利用率也属于展示数据,不能视为性能基准。因此,“更快诊断”目前是合理的产品价值判断,而不是已经由公开基准证明的定量结论。

企业验收时建议记录以下指标:

  • 从单卡降速或EFA退化发生到告警触发的检测延迟;
  • 每GPU每日误报数与有效告警占比;
  • 从告警定位到具体作业、节点、加速器和rank的成功率;
  • 每GPU每日遥测样本量、摄取费用与存储费用;
  • 指标缺失率、采集延迟和告警规则评估延迟。

开发者落地与部署建议

  1. 先启用基础可观测性:通过Custom setup保留默认指标,观察至少一个完整训练周期,再决定是否加入高级指标。快速配置无法关闭该能力,不适合需要严格控制采集策略的集群。
  2. 按故障面选择高级指标:优先开启目标节点类型的DCGM或Neuron指标,以及实际使用EFA的训练集群网络指标。没有高速互联或没有长期训练任务的集群无需全量开启。
  3. 统一指标存储策略:需要AWS控制台和SageMaker Insights原生集成时使用CloudWatch;已有Prometheus、告警和Grafana团队则使用Managed Prometheus,但需单独验证诊断摘要的数据路径。
  4. 建立事件处置手册:将XID或ECC映射到节点隔离与设备更换流程,将EFA退化映射到链路和NCCL All-Reduce检查,将热降频与过热映射到作业迁移及功率策略检查。诊断摘要只负责定位,不应自动等同于设备故障结论。
  5. 在隔离集群演练:用可控的节点降速、网络丢包或限频场景验证检测延迟、通知链路和恢复流程;不要在生产训练中主动制造XID或ECC硬件故障。
  6. 把成本纳入SLO:按指标类别统计样本量,限制无明确排障用途的高基数维度,并为CloudWatch与Prometheus分别核算摄取、存储、查询和告警费用。

这次更新没有改变模型架构或训练算法,却补上了大规模GPU训练最容易被忽视的一层:把算力硬件、互联网络与分布式进程之间的故障关系变成可操作证据。对于数百至数千卡、单个慢节点即可拖慢全局训练的系统,它的价值更接近生产可靠性基础设施,而不是一项普通的可视化功能更新。


消息来源:AWS Machine Learning Blog (2026-11-20)

—— 完 ——

主题标签: #SageMaker HyperPod #GPU可观测性 #分布式训练 #CloudWatch #EFA

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…