SageMaker HyperPod新增训练正确性验证与挂起任务恢复
摘要:Amazon SageMaker HyperPod 新增三项集群韧性能力:EKS 集群可运行 MultiNodeTrainingValidation,以固定 Megatron-LM 任务检测“硬件健康但计算错误”的 GPU;Kubernetes Resource Monitoring Agent 将节点、设备插件、DaemonSet、训练任务及可选 NCCL RAS 状态关联至 CloudWatch;Slurm 集群则可依据日志与 GPU 活跃度识别挂起任务,并选择通知或取消重排。三者把硬件诊断推进到训练正确性、集群可观测性与运行时恢复,目标是减少无效 GPU 占用并提升训练 goodput。
从“节点健康”扩展到“工作负载健康”
Amazon SageMaker HyperPod 本次更新补上了分布式训练中的一类关键断层:GPU、NVLink 和 EFA 可以全部通过诊断,Kubernetes 组件也处于 Ready 状态,但训练仍可能产生错误数值、卡在集合通信屏障,或因设备插件失效而失去推进能力。原有 HMA、InstanceStress 和 InstanceConnectivity 主要回答“硬件是否正常”,新能力则继续追问“这组硬件能否正确训练”“作业是否仍在前进”以及“故障属于哪个 Pod 和节点”。
| 层级 | 代表机制 | 可发现的问题 | 是否自动处置 | | --- | --- | --- | --- | | 节点硬件 | HMA、InstanceStress、DCGM Level 4 | GPU、显存、NVLink、EFA 故障 | 可标记并重启或替换节点 | | 跨节点互联 | InstanceConnectivity、NCCL/NCCOM 测试 | 节点间通信缓慢或中断 | 主要用于准入检查 | | 训练正确性 | MultiNodeTrainingValidation | 硬件健康但 loss 变为 NaN、无穷大或训练无法完成 | 失败节点可被标记并替换 | | Kubernetes 可观测性 | Resource Monitoring Agent | 设备插件崩溃、DaemonSet 缺失、节点退化、作业失败 | 仅报告,不自动重启 | | 作业活性 | Slurm Hung Job Detection | 作业仍显示 Running,但日志和计算已停滞 | 可通知,或取消后由 Slurm 重排 |
MultiNodeTrainingValidation:从硬件合格升级到计算合格
MultiNodeTrainingValidation 是一项面向 EKS HyperPod 集群的新深度健康检查。它包含两个固定参考负载:先在单实例的全部 GPU 上运行 Tiny Megatron 测试,再让同类型实例通过 EFA 执行多实例 Megatron 测试。任一阶段出现 NaN、无穷大 loss,或者在限定时间内没有完成训练,对应实例即被判定失败。
这项检查针对的是“静默数据损坏”一类难以被常规压力测试覆盖的问题。GPU 的存储、计算单元和互连可能全部返回健康状态,但特定矩阵运算、归约或跨节点 collective 仍可能产生错误结果。分布式训练会把局部错误放大:某个 rank 写入 NaN 后,梯度同步可能污染其他 rank;一个 rank 落后,则会在 all_reduce、barrier 或 rendezvous 处拖住整组进程。MultiNodeTrainingValidation 通过固定且已知正确的训练路径,在业务作业进入队列前验证这种端到端计算正确性。
失败结果会写入 CloudWatch,并通过节点标签暴露状态。启用自动节点恢复后,HyperPod 可以重启或替换不合格实例。其边界也很明确:参考负载通过不代表任意模型、任意 batch size 或任意并行策略都会收敛;该检查目前面向支持 EFA 的 NVIDIA GPU 实例,固定模型也无法覆盖所有潜在故障模式。
Kubernetes Resource Monitoring Agent:补齐控制面与作业的因果链
新的 Resource Monitoring Agent 以每集群一个 Pod 的形式运行,并优先调度到 CPU 节点,从而避免挤占训练 GPU。它持续观察:
- 节点条件、可分配 GPU/EFA 数量、NVIDIA capability label 与 taint 变化;
kube-system、aws-hyperpod、kubeflow中的关键 DaemonSet、设备插件和训练控制器;- HyperPodPyTorchJob、Kubeflow PyTorchJob v1 与 TrainJob v2 的失败原因;
- 可选启用的 NCCL RAS 通信状态。
发现异常后,Agent 会把问题关联到具体节点、Pod、DaemonSet 和训练作业,同时写入 Kubernetes Event 与结构化 CloudWatch JSON 日志。Event 适合实时定位,但有生命周期限制;CloudWatch 日志则能保留更长的排障历史。NCCL 2.24 及以上版本可在每个 NCCL 进程中暴露 RAS listener,Agent 每 30 秒读取一次各 Pod 报告:所有 Pod 报告有效时判定为 healthy,部分有效时为 degraded,全部无效时为 unhealthy。测试中,某个 rank 停止调用 all_reduce 后,系统可发现不同 rank 的 collective 操作计数不一致,并指出落后的 GPU、进程和节点。
这一 Agent 只负责观测,不负责重启节点或恢复作业。这种边界降低了在尚未确认根因时自动执行破坏性恢复的风险,但也意味着它改善的是诊断路径,而非端到端自愈。启用 NCCL RAS 时,listener 需要绑定 Pod IP 并开放 TCP 28028 端口,必须配合 NetworkPolicy,仅允许监控 Agent 和作业内部 Pod 访问。
Slurm 挂起任务检测:从“Running”识别到“无前进”
针对 HyperPod Slurm 集群,AWS 新增了无需修改训练脚本或容器的挂起任务检测。管理员通过 HYPERPOD_HANG_RULES 指向一份所有计算节点均可读取的规则文件。
默认检测同时观察 Slurm 输出与 GPU 活动:
- 输出停止、GPU 空闲但仍持有显存时,可在较短窗口内识别 rendezvous 或 barrier 类挂起;
- 输出持续停止时,可使用更长的超时识别 NCCL 超时、数据管道停滞或死锁;
- 自定义
log_pattern可要求训练 step 或 epoch 在指定时间内出现,或在匹配到 NCCL 错误时立即报警。
检测结果写入 CloudWatch 的 HANG_DETECTED 事件。notify 模式只告警,cancel 模式会取消作业,让 Slurm 按 MaxBatchRequeue 限制重新排队。需要注意的是,自定义规则会替代该作业的默认检测,而不是简单叠加;默认检测也可能漏掉“GPU 持续繁忙但陷入无意义循环”的作业。因此,生产环境更适合先以 notify 模式校准 checkpoint、评估阶段等正常日志间隔,再逐步启用自动取消。
规则文件本身属于控制面:任何能够修改或替换文件的人都可能改变检测行为,甚至让 Agent 取消共享该文件的所有作业。个人规则宜使用 600 权限,团队共享文件则应限制目录写权限并保留明确的维护者。单个规则文件最多支持 20 条规则和 1 MB 配置。EKS 侧原有的 HyperPod Training Operator 与 Ray Train 挂起检测仍可继续使用,本次新增能力主要补齐 Slurm 路径。
实测数据、成本模型与评测局限
AWS 给出的内部测试运行在两个 ml.p5.48xlarge 实例上,共 16 张 H100。完整深度健康检查耗时 1 小时 28 分钟,其中 DCGM Level 4 诊断占 74 分钟;新增的 Tiny Megatron 与多实例 Megatron 测试合计约 8 分钟。多实例测试完成 300 次迭代,loss 从 11.5671 降至 3.6213,没有 NaN 或 skipped iteration,耗时 161.5 秒,约 1.86 iteration/s。
这组数据证明参考训练负载能够在该配置上稳定收敛,但不能视为独立 benchmark:它只覆盖一个两节点配置,没有报告不同模型、batch size、拓扑和故障注入下的检出率、误报率、置信区间或大规模机队数据。尤其需要关注两个成本:MultiNodeTrainingValidation 会让实例在准入完成前多占用约数分钟 GPU 时间;过严的 loss 阈值或超时又可能把健康节点误判为故障。
原文还给出一个成本场景:32 个 ml.p5.48xlarge 实例对应 256 张 H100,任务从凌晨 1 点挂起到 9 点才被发现,将浪费 256 instance-hours。按每实例小时约 66 美元计算,损失约 16,900 美元;若 15 分钟检测规则触发取消,重排前仅消耗约 530 美元,可节省约 16,400 美元。这是合理的故障成本模型,不是生产环境 A/B 测试所得的平均节省。
EKS 集群落地建议
- 在实例组的
OnStartDeepHealthChecks中加入MultiNodeTrainingValidation,保留InstanceStress与InstanceConnectivity,分别覆盖硬件、互联和训练正确性。 - 长周期预训练前,通过
StartClusterHealthCheck对现有实例执行按需复检,并使用InstanceIds将范围缩小到高价值节点。 - 升级 HyperPod Helm Chart 前先手动应用 Resource Monitoring Agent 的 CRD,再启用
hyperpod-kubernetes-resource-monitor。升级前使用 server-side dry-run 检查 HMA 和设备插件是否会被一并迁移。 - 在监控配置中明确列出必需的 NVIDIA、EFA 设备插件 DaemonSet,以及业务作业所在 namespace;列表会替换默认值,遗漏 HMA 或业务 namespace 会造成盲区。
- 如需 NCCL RAS 状态,先部署只允许 Agent 与作业 Pod 访问 28028 端口的 NetworkPolicy,再通过
NCCL_RAS_ADDR绑定 Pod IP。 - 将
TrainingJobFailed、CriticalPodCrashLoop、NecessaryDaemonSetMissing和NodeResourceDegraded等 Event 接入告警,并保留 CloudWatch 结构化日志用于事后追踪。
Slurm 集群落地建议
- 使用 2026 年 11 月 10 日之后发布的 HyperPod Slurm AMI;软件更新会替换实例根卷,升级前必须备份本地数据。可通过
srun --help是否出现--no-hang-detection判断现有集群是否支持该能力。 - 将规则文件放在 FSx for Lustre 或 EFS 等共享存储,并在每个计算节点保持相同路径。
- 先用
{"enabled": true}启用默认检测,通过HYPERPOD_HANG_RULES为测试作业指定规则路径,确认 CloudWatch 中出现正确事件。 - 为训练 step、epoch 或 checkpoint 建立进度正则规则,将超时设置为长于模型加载、编译、checkpoint 保存和评估阶段的正常间隔。
- 先使用 notify 模式收集误报证据,再切换到 cancel;同时检查 Slurm 的
MaxBatchRequeue,避免无限重排放大故障。 - 为
HANG_DETECTED创建 CloudWatch metric filter 和 SNS 告警,并确保规则文件缺失或 JSON 无效时出现的CONFIG_ERROR也能触发告警。
工程价值判断
这次更新没有改变 Megatron、NCCL 或 Kubernetes 的底层协议,而是补齐了训练平台从硬件准入、计算正确性、控制面观测到作业活性检测的闭环。它最有价值的地方不是自动多修复了几个故障,而是把原本需要人工查看 loss 曲线、逐 rank 日志和 kubectl 事件才能定位的问题前移,并将故障与具体节点、Pod、GPU 和进程关联。
不过,这仍是一套分层而非全自动的韧性体系:训练验证只能证明参考负载正确,Kubernetes Agent 只报告不修复,挂起检测也依赖日志语义和超时配置。真正的生产收益取决于误报率、恢复后的 checkpoint 策略、规则文件权限、跨实例拓扑覆盖以及 CloudWatch 告警质量。对于运行千卡至万卡级预训练的平台,这套能力可以减少昂贵集群中的无效占用,但上线前仍应以故障注入和真实作业日志完成独立验证。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-18)
主题标签: #SageMaker HyperPod #分布式训练 #GPU集群 #故障恢复 #Kubernetes
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区