智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #SageMaker AI #HyperPod #NVIDIA Dynamo #KV Cache #GPU分区

AWS扩展SageMaker推理栈:13项更新覆盖调优、路由与发布

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AWS在SageMaker AI年度推理更新第二篇中汇总13项上线能力,覆盖基于NVIDIA AIPerf的实例与容器推荐、LoRA并发搜索、MIG GPU分区、HyperPod托管Dynamo多节点分片、KV Cache感知及跨区域路由、持续漂移监测与原地滚动更新。其价值不在新增模型,而在把生产推理从一次性选型推进为按SLA持续调优的闭环。官方称HyperPod Gateway较轮询最高可降低98%的P99 TTFT,但未给出绝对值和独立复现;跨区域调度还需权衡额外时延、数据驻留与备用容量。


Amazon SageMaker AI 这轮更新没有发布新的基础模型,而是把重点放在模型进入生产后的推理工程:如何选择实例和容器,如何让多个 LoRA 与小模型共享 GPU,如何承载单卡放不下的权重,如何按缓存状态路由,以及如何减少滚动发布时的临时 GPU 采购。13 项能力覆盖配置、资源、调度、路由和运维五个层面。

更新版图:从一次性部署转向持续优化

| 阶段 | 新能力 | 核心变化 | | --- | --- | --- | | 配置与压测 | Studio、Python SDK v3、LoRA、SLA 并发搜索 | 用真实 GPU 和 NVIDIA AIPerf 生成实例、容器及优化方案排名 | | 多模型部署 | Inference Components 控制台、NVIDIA MIG | 在同一端点独立扩缩多个模型,并将物理 GPU 切成硬件隔离分区 | | 超大模型服务 | HyperPod 托管 NVIDIA Dynamo | 多节点分片、Prefill/Decode 分离、KV-aware 调度和故障恢复 | | 流量调度 | 端点 KV Cache 感知、Inference Gateway、跨区域路由 | 根据真实缓存、队列、适配器驻留和区域容量选择执行节点 | | 上线后运维 | 持续性能监测、原地滚动模型更新 | 自动发现延迟漂移与闲置容量,并减少更新所需的新实例数 |

这组功能的共同点,是把推理优化从一次性的控制台配置变成可重复执行的工程流程:压测、生成推荐、部署、监测、重新压测,再更新生产实例。

技术机制拆解

1. 从人工选型到SLA约束搜索

Inference Recommendations 会使用 NVIDIA AIPerf 在真实 GPU 基础设施上测试候选实例、容器和优化技术,并按照首 Token 时延(TTFT)、Token 间时延、吞吐与成本排序。针对不同目标,系统可选择推测解码提高吞吐,或执行内核调优压低延迟。

推荐能力已进入 SageMaker AI Studio、SageMaker Python SDK v3.17.0 及以上版本和 MCP 兼容的编码智能体。SDK 可以并行运行多个推荐任务、恢复已完成任务,并把基准测试、配置推荐和实时端点部署串入 Notebook 或 CI/CD。

SLA 并发搜索进一步把“选哪台机器”改写为“最多能承受多少并发”。其目标可近似表示为:C* = max {C | TTFT(C)、每Token时延(C)、端到端时延(C)和错误率(C)均满足目标}。搜索会从较宽区间生成探测点,根据通过或失败结果逐步收窄,而不是要求工程师手工执行完整线性扫描。

这一机制比静态实例推荐更贴近生产,但结果只在压测流量、模型版本、量化方式和请求长度具有代表性时成立。推测解码的收益还取决于草稿 Token 接受率,内核调优则高度依赖 GPU 型号、推理引擎和模型结构。

2. LoRA与MIG解决小模型资源碎片化

LoRA 已被推理推荐流程纳入评估:每个适配器及其运行时状态都会占用显存,适配器数量增加后,同一端点的可服务并发可能下降。SageMaker 建议使用一个基础模型 Inference Component,并为每个 LoRA 建立独立组件,从而在不重启基础模型的情况下增加、更新或删除适配器。

Inference Components 还允许在同一端点承载多个模型,并分别设置加速器、CPU、内存、副本数和缩容策略。闲置组件可以缩容至零,但这一策略需要结合冷启动时间、适配器重新装载时间和突发流量评估,不能只看稳态 GPU 利用率。

NVIDIA MIG 可把一块受支持的物理 GPU 划分为最多七个具有独立计算和显存能力的分区,每个模型组件可选择对应分区。MIG 的隔离范围止于 GPU 核心与显存;主机 CPU、主机内存、网络、存储和端点路由仍由所有分区共享。因此,其有效容量不是七个模型显存需求简单相加,还要检查主机内存带宽、PCIe、网络 I/O 和路由开销。由于 AWS 仍按完整实例小时计费,收益来自同一实例承载更多模型,而不是更低的 GPU 单价。

3. 托管Dynamo扩展超大模型服务边界

对于权重超过单实例显存、但可以跨节点切分的模型,HyperPod Inference 新增托管 NVIDIA Dynamo。Dynamo 负责模型分片、Prefill 与 Decode 拆分以及请求路由,HyperPod 则提供 GPU 容量、EFA 网络、节点替换、端点注册、TLS、自动扩缩容和可观测性。

Prefill 通常偏计算密集,Decode 更受显存带宽和连续生成延迟影响。将两者放入不同 GPU 池,可以避免长提示词处理阻塞其他请求的 Token 生成;KV Cache 则通过 EFA 在节点间传递,以减少重新预填充。该模式还支持 vLLM、SGLang 和 TensorRT-LLM,并保持 OpenAI 兼容接口。

代价同样明确:分离式 Prefill/Decode 增加 KV 传输、网络拥塞和调度复杂度,模型副本也需要跨节点通信。托管服务降低了镜像维护、节点替换和 Grove、KAI 调度器配置负担,但部署仍受 HyperPod Region、EFA 容量及 AWS 平台边界约束。目前公开材料没有给出跨节点吞吐、KV 传输开销或故障恢复时间的绝对指标。

4. 三层路由分别解决缓存、集群与区域错配

端点级 KV Cache 感知路由不再只依赖请求历史推断缓存状态,而是由模型容器发布缓存创建和淘汰事件,中央索引据此把请求送到持有最长匹配前缀的实例。对于长提示词、多轮对话和动态前缀复用,这种方式比 Prefix-aware Routing 更准确,但首发版本要求容器实现 AWS 验证的缓存事件、分词、指标及 OpenAI 兼容接口。

HyperPod Inference Gateway 则在集群内部综合 KV Cache 利用率、队列深度、运行中请求数、前缀命中率和 LoRA 适配器驻留状态,向所有模型提供一个统一入口。它既避开缓存将满的 Pod,也会优先选择已经加载目标适配器的 Pod,从而减少换入和重复计算开销。

跨区域路由处理的是更外层的问题:应用先调用本地端点,本地容量失效时再转向其他 Region,甚至其他 AWS 账号中的兼容端点。流量通过 AWS PrivateLink 传输,路由目标可限制回退流量上限和允许服务请求的 Region。不过,该路由器不会复制模型、部署端点或凭空增加容量;跨区域回退仍会引入网络时延,并涉及数据驻留、跨境合规和备用容量成本。

5. 持续监测与原地更新收尾生产闭环

SageMaker AI 现在默认监测生成式 AI 推理端点的延迟、GPU 利用率和服务配置,可发现流量变化导致的延迟漂移、部署以来一直存在的配置缺口,以及长期闲置的 GPU。监测不读取请求或响应内容,因此不会直接发现答案质量或安全性回归;周环比检测也可能把周期性业务变化误判为性能退化。

原地滚动更新改变了传统发布必须为每个批次申请新 GPU 的做法。系统先增加一个小批次的临时实例,将流量切换过去,再更新并复用这批实例腾出的原有容量。对于20个实例、批次大小为2的端点,官方示例只需额外获取2个实例,而不是20个。代价是发布初期仍需临时容量,并会出现不同模型版本并存的短窗口,发布前仍需验证流量排空、失败恢复和版本兼容策略。

实测表现、基准口径与工程代价

AWS 报告称,Inference Gateway 相比轮询路由,在混合 GPU 代际负载下最多降低97%的 P99 TTFT,在突发流量下最多降低98%。这是13项更新中最突出的性能数字,但原文没有披露绝对 TTFT、请求分布、并发规模、缓存命中率、样本量或方差,因此不能直接外推到其他模型和端点。

AIPerf 跑在真实 GPU 上,比纯模拟更接近生产,但建议至少统一以下变量后再比较:基础模型与量化版本、输入和输出 Token 分布、批量大小、预热时间、LoRA 数量、推理引擎版本、并发阶梯及错误率。报告应同时给出 P50/P99 TTFT、Token 间时延、吞吐、缓存命中率和每百万 Token 成本,而不是只提供相对提升百分比。

| 能力 | 主要收益 | 需要计入的工程成本 | 公开证据边界 | | --- | --- | --- | --- | | 推荐与 SLA 搜索 | 自动选择实例和最大可行并发 | 压测时间、候选配置数量、流量代表性 | 未公布统一绝对基准 | | LoRA Components | 独立管理适配器和扩缩容 | 适配器驻留、路由命中、冷启动 | 需按适配器数量复测并发 | | MIG | 提升小模型共享 GPU 的密度 | 主机资源争用、完整实例计费 | 上限依GPU型号而异,最多七个分区 | | 托管 Dynamo | 承载单实例放不下的模型 | 多节点通信、KV 传输、平台依赖 | 缺少跨节点绝对性能数据 | | KV-aware 路由 | 提高真实前缀缓存复用 | 事件上报、索引一致性、容器认证 | 需报告命中率及尾部时延 | | Gateway | 根据GPU状态动态调度 | 元数据开销、负载偏斜 | 仅有最高97%/98%的相对 TTFT 改善 | | 跨区域路由 | 利用闲置区域容量并提供回退 | 跨区域时延、驻留与备用容量 | 路由器本身不增加总容量 | | 原地滚动更新 | 降低大规模更新的新增采购量 | 临时批次与混合版本窗口 | 20实例示例节省18个额外实例 |

开发者落地与部署建议

  1. 先建立可复现基线。 使用真实请求样本记录 TTFT、Token 间时延、端到端时延、P95/P99、吞吐、错误率和每百万 Token 成本,并保存模型、容器、GPU与量化配置。
  2. 把推荐流程接入 CI/CD。 通过 Python SDK v3 批量比较 LMI、vLLM 等服务框架;流量、模型或 LoRA 数量变化后重新运行推荐,不要复用上线前的静态实例配置。
  3. 先用 SLA 搜索确定并发上限。 业务同时设置 TTFT、Token 间时延、错误率和成本约束,并记录 feasible_max,避免只依据平均延迟扩容。
  4. 小模型优先评估 Inference Components 与 MIG。 先确认每个模型能放入目标分区,再压测共享主机 CPU、内存和网络;突发流量明显时,应将缩容至零带来的冷启动计入 SLA。
  5. 超大模型再进入 HyperPod 与 Dynamo。 重点测量跨节点分片、Prefill/Decode 资源比例、KV 传输开销、节点替换时间和端到端成本,不要仅以模型能够装下作为验收标准。
  6. 按缓存状态选择路由。 无法改造容器时使用 Prefix-aware Routing;已采用合规容器且前缀变化快时再启用 KV Cache 感知路由。Gateway 与跨区域路由应分别验证集群内尾延迟和跨 Region 回退时延。
  7. 为持续运维设置人工门禁。 Drift Watch 和 aws-ai-ml 技能可以生成诊断及 SDK 代码,但部署动作应保留审核、权限最小化和回滚步骤。持续监测只覆盖运营指标,模型质量仍需独立的离线或在线评测。

这13项更新的核心价值,是让 SageMaker 从“提供模型端点”进一步变成能够执行基准测试、资源编排、缓存调度、区域容灾和滚动发布的推理控制平面。它没有消除模型服务质量问题,却把原本分散在平台团队、SRE 和应用开发者之间的工作流,收敛为可度量的 SLA 与成本闭环。


消息来源:AWS Machine Learning Blog (2026-11-20)

—— 完 ——

主题标签: #SageMaker AI #HyperPod #NVIDIA Dynamo #KV Cache #GPU分区

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…