AWS托管NVIDIA Dynamo,补齐SageMaker多节点分离式推理
摘要:Amazon SageMaker HyperPod Inference 已支持托管 NVIDIA Dynamo,可在多节点上拆分 Prefill 与 Decode,并通过 EFA 传递 KV Cache。HyperPod Operator、Dynamo Operator、Grove 与 KAI Scheduler 共同完成端点编排、成组调度和故障恢复;InferenceEndpointConfig 提供兼容 OpenAI 的入口及 KEDA 自动扩缩。AWS 内部测试中,Qwen3-235B 分离式服务在 TTFT 与生成速度门槛下达到 207 token/s/GPU,为聚合模式的 2.05 倍。不过数字来自厂商基准,比较点并发不同,仍需用真实流量复测。
核心变化:Dynamo 进入 SageMaker 托管控制面
Amazon SageMaker HyperPod Inference 现可通过 HyperPod Inference add-on 使用开源 NVIDIA Dynamo,把多节点部署、Prefill/Decode 分离和 KV 感知路由纳入 SageMaker 的端点、调度、存储与运维体系。Dynamo 的分布式数据面能力没有被重新包装,新增价值主要位于控制面:AWS 负责组件版本配套、GPU 成组放置、EFA 网络、节点健康监控与替换,团队则通过 InferenceEndpointConfig 或现有 DynamoGraphDeployment 声明服务拓扑。
这项能力直接针对超大模型的单实例容量边界。以 GLM-5.3 为例,其 FP8 权重已超过单台 ml.p5.48xlarge 的 640 GB GPU 显存,且尚未计入 KV Cache 和运行时开销。在这一实例规格上,完整模型无法单节点容纳;采用多节点后,节点间通信又会直接影响首 token 延迟,因此调度、并行策略和 KV 数据移动必须作为同一系统设计。
两种接入路径
| 路径 | 团队负责 | 平台负责 | 适用场景 |
|---|---|---|---|
| Bring-your-own DynamoGraphDeployment | 完整 DGD、容器镜像、存储、网络、Pod 放置、端点、TLS、注册与扩缩容 | Dynamo Operator 管理 DGD,HyperPod 管理底层节点 | 已使用 Dynamo、需要直接控制服务图的团队 |
| InferenceEndpointConfig 与 dynamoSpec | 声明模型及 dynamoSpec | 从 S3 或 FSx 准备权重,托管端点、TLS、注册、KV 路由默认值与 KEDA 扩缩容 | 已使用 HyperPod、希望快速建立标准推理端点的团队 |
两条路径都支持单实例和多节点部署。托管路径默认使用 vLLM,也可选择 SGLang 或 TensorRT-LLM,并通过兼容 OpenAI 的请求格式调用 SageMaker Runtime API。
控制面如何完成协同
HyperPod Inference add-on 安装的不只是 Dynamo 本身,而是一组相互约束的控制器:
- HyperPod Inference Operator 通过
InferenceEndpointConfig管理端点,并将dynamoSpec下发为 Dynamo 配置。 - Dynamo Operator 根据 DynamoGraphDeployment 创建前端、模型 Worker、Replica 与资源声明,管理 Dynamo 数据面。
- Grove 维护多节点 Worker 等 Pod 分组及其扩缩关系,避免单个 Worker 的子 Pod 被割裂扩缩。
- KAI Scheduler 使用 Gang Scheduling 将同一多节点 Worker 所需 Pod 成组放置,防止调度器只放置部分 GPU 节点而让服务长期处于不可用状态。
- AWS Deep Learning Containers 提供 Dynamo 运行时,add-on 统一管理配套组件版本;升级 add-on 即可切换到受支持的 Dynamo 版本。
这层的价值是把 Dynamo 原先需要团队自行拼装的 Kubernetes 编排、GPU 调度、网络配置和故障恢复,纳入 AWS 托管生命周期。
Prefill、Decode 与 KV Cache 的数据路径
在聚合式服务中,Prefill 与 Decode 运行在同一 Worker。Prefill 并行处理输入提示并生成首 token,同时构建供后续解码使用的 KV Cache;Decode 再逐 token 生成输出。两种阶段共享模型权重和本地 KV Cache,省掉跨 Worker 状态传输,但长提示的 Prefill 计算可能挤占 Decode 所需的 GPU 算力与显存带宽。通常 Prefill 更偏计算密集,Decode 更偏显存带宽和串行延迟敏感,二者混在同一资源池时容易互相干扰。
在分离式服务中,前端把请求分别送往 Prefill Pool 与 Decode Pool。Prefill Pool 计算输入并产生 KV Cache,KV 状态经 Elastic Fabric Adapter 传输给 Decode Pool,后者继续生成 token。两个池可以独立设置 Replica 数量、并行度和扩缩容策略,适合长提示、高并发或两类负载增长节奏明显不同的业务。
KV Cache 占用可近似表示为:
KV_bytes ≈ 2 × L × H_kv × d_head × s × T
其中,L 是层数,H_kv 是 KV Head 数,d_head 是 Head 维度,s 是每个元素的字节数,T 是缓存 token 数;乘以 2 对应 K 与 V。并发上升时,有效占用还取决于活跃序列数和生成长度。分离式部署并不会消除这部分显存需求,只是把它从单 Worker 内部问题变成了跨池容量与网络传输问题。
Dynamo 的 KV 感知路由器同时考虑可复用前缀 KV Cache 与 Worker 实时负载。前缀命中可避免相同系统提示、工具定义或长文档被重复 Prefill,从而改善 TTFT;负载感知则用于避免请求持续压向热点 Worker。不过,生产部署仍需验证缓存索引与淘汰状态的一致性、哈希冲突、租户隔离和路由反馈延迟,否则缓存复用可能转化为错误命中或负载偏斜。
一个容易被忽略的成本是:Prefill Pool 与 Decode Pool 都会加载完整模型权重。原文的 GLM-5.3 分离式示例配置一个 Prefill Replica 和两个 Decode Replica,每个 Replica 跨两台实例,因此逻辑上存在三份完整模型权重副本。拆分提升的是资源利用率和扩缩自由度,并不等于减少模型存储或权重加载成本。
张量并行、流水线并行与故障恢复
Dynamo Worker 可在单实例运行,也可跨实例使用 Tensor Parallelism 或 Pipeline Parallelism。Tensor Parallelism 将矩阵计算切到多张 GPU,过程中需要频繁执行 All-Gather、Reduce-Scatter 等集合通信,对互联带宽和延迟非常敏感;Pipeline Parallelism 按层切分模型,可降低部分层间通信压力,但会引入流水线气泡、阶段负载不均和更复杂的批量调度。
HyperPod 的 EFA 网络和 KAI Scheduler 的成组调度分别处理网络与放置问题。故障发生后,HyperPod 监控节点、GPU 与 EFA 状态并替换异常节点,编排组件再重建受影响 Worker。这个机制减少人工恢复时间,但重建期间的请求重试、幂等性、KV 状态恢复和流量排空仍需应用层设计,不能把节点替换等同于无损故障转移。
工程权衡:何时值得拆分
| 维度 | 聚合式部署 | 分离式部署 | |---|---|---| | 权重显存 | Prefill 与 Decode 共享一份权重 | 两个池各自持有完整权重,副本成本更高 | | KV 传输 | 无跨池交接 | 依赖 EFA/RDMA 传输,延迟与拥塞进入关键路径 | | 扩缩容 | 简单,但两种计算特征可能互相干扰 | 可独立扩缩 Prefill 和 Decode,灵活性更高 | | 调度 | 拓扑简单、故障面较小 | 资源池更多,需协调副本比例和扩缩节奏 | | 适用场景 | 短提示、阶段干扰小、网络敏感 | 长提示、高并发、Prefill/Decode 负载失衡明显 |
如果团队已经在使用 Dynamo,Bring-your-own DGD 路径能最大限度复用现有 Recipe、Manifest 和调试经验;若更看重托管端点、TLS、权重准备和自动扩缩,InferenceEndpointConfig 的迁移成本更低。无论采用哪条路径,Dynamo 仍是开源组件,AWS add-on 决定的是集成版本和基础设施行为,而不是锁定模型权重或推理引擎。
官方实测说明了什么
AWS 使用 AIPerf 给出了两组结果:
- Qwen3-235B-A22B-FP8,TensorRT-LLM,16 张 H200:输入长度为 4,000 token,输出长度为 200 token。测试只保留 P90 TTFT 低于 1 秒、每用户中位生成速度不低于 50 token/s 的数据点。分离式部署最高达到 207 output token/s/GPU,聚合式最高为 101,约为 2.05 倍关系;两者对应并发分别为 80 和 32。
- Qwen3.5-397B-A17B-FP8,vLLM,TP4 × PP2,8 张 H200:该模型原本可装入单台实例,测试刻意将其切到两台实例,以隔离节点边界影响。在高前缀复用的智能体负载、并发 32 下,双节点达到 126.4 output token/s/GPU,保留单节点吞吐的 99.1%。
第二组结果说明,在该硬件、模型和并行配置下,跨节点本身没有形成显著吞吐断崖。但它不能被解读为所有超大模型跨节点都能获得同样效率,因为被测模型本来就能装入单节点。
第一组结果同样需要谨慎使用:207 与 101 是各自满足 SLA 后的最高吞吐点,而不是固定并发下的严格消融;不同并发、批量大小和 Prefill/Decode 比例共同参与了差异。测试也未给出 p99 尾延迟、每百万 token 成本、功耗、扩容冷启动、节点故障恢复时间或独立复现结果。因此,2.05 倍应被视为厂商环境下可达到的工作点,而不是分离式架构的普适倍数。
开发者落地清单
- 先做显存预算:按每个 Replica 计算完整权重、目标上下文长度下的 KV Cache、运行时与显存碎片,不能只依据模型参数文件大小。
- 选择服务拓扑:短提示且 Prefill/Decode 干扰不明显时先测试聚合式;长提示、高并发或两个阶段扩容曲线不同,再引入分离式。
- 验证 EFA 数据路径:确认跨实例集合通信和 Prefill-to-Decode KV 传输实际走预期 EFA/RDMA 通道,而不是退化到普通网络栈。
- 用 AISimulate 做预选:结合模型、引擎与 GPU 类型比较聚合/分离、并行度及 Prefill/Decode 池比例,缩小真实 GPU 测试空间。
- 用 AIPerf 回放真实流量:输入、输出和前缀复用分布应来自生产 Trace;逐档扫描并发,并分别设置 TTFT、每用户生成速度和尾延迟 SLA。
- 先调拓扑,再调引擎参数:先确定聚合方式、并行度与池比例,再调整批处理、量化和 vLLM/SGLang/TensorRT-LLM 参数,每次只改变一个变量并保留完整结果。
- 验证扩缩与故障行为:检查 KEDA 扩容是否被 S3/FSx 权重加载拖慢,节点替换期间请求能否安全重试,以及预填充 Pool 与解码 Pool 是否出现比例失衡。
- 核算完整成本:除 H200 实例价格外,还要计算跨节点通信、重复权重存储、冷启动缓存、额外 Frontend、KV 传输和故障恢复带来的间接成本。
此次更新的关键并非引入新的注意力算法,而是把 Dynamo 的分布式推理数据面接入 SageMaker 已有的调度、存储、网络和运维控制面。它能显著降低多节点大模型服务的实施门槛,但是否真正降本,仍取决于分离式拓扑是否匹配流量形态,以及团队能否用生产分布验证缓存、并行和容量配置。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-17)
主题标签: #NVIDIA Dynamo #SageMaker HyperPod #分离式推理 #KV感知路由 #多节点部署
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区