AWS 发布 HyperPod 全局推理网关:跨集群跨区域统一调度
摘要:AWS 发布 Amazon SageMaker HyperPod Global Inference Gateway,以单一托管入口调度同一 AWS 区域内或跨区域的 HyperPod 集群。全局层按 KV Cache 余量、队列深度、区域距离与近期错误率加权选路,集群内层继续选择模型 Pod;故障集群会被自动摘除。服务结合 SigV4、IAM 与 PrivateLink,已覆盖 13 个 AWS 区域。它把跨区溢出和故障转移从自建网络层移入托管控制面。公告仅给出客户跨双区域测试的定性反馈,未披露端到端时延、吞吐、故障恢复时间与跨区成本,也未提供相对自建负载均衡器的基准对照。
架构:把选集群与选 Pod 分成两层
Amazon SageMaker HyperPod Global Inference Gateway 将原先局限于单个 HyperPod 集群的推理入口扩展为跨集群、跨 AWS 区域的统一端点。客户端只访问网关的区域端点,路由不再由业务侧维护模型、集群与端点之间的对应关系。
一次请求的处理路径如下:
- 客户端使用 AWS Signature Version 4,也就是 SigV4,对请求签名并发送到网关区域端点。
- AWS 托管的路由层终止 TLS,校验 SigV4 签名、IAM 权限与限流状态。
- 全局网关根据各健康集群上报的负载信号计算分数,选出目标集群。
- 请求通过 AWS PrivateLink 和 AWS 骨干网络送达目标集群,可以位于同一区域,也可以跨区域。
- 集群内的 Inference Gateway 再依据 KV Cache 利用率、队列深度等实时信号,从模型 Pod 中选择具体执行节点。
因此,这套系统形成了清晰的两级调度:全局层解决集群与区域之间的容量分配,集群层解决 Pod 级别的 GPU 感知调度。两层分离后,跨区域流量不会绕过集群内部的缓存与显存感知逻辑。
发布集群时,HyperPod Inference Controller 会在客户账户中创建 Network Load Balancer、VPC Endpoint Service,并把监听器证书上传到 TLS 存储桶。Global Inference Gateway 则负责统一验证这些资源,并通过服务托管的指标发布器持续获取集群负载。
路由机制:四类信号决定流量去向
从公开行为看,每个请求都会对所有健康集群评分。其概念模型可以写成:
S(c) = Σ w_i · z_i(c)
其中,c 表示候选集群,w_i 是路由权重,z_i(c) 是对应信号的归一化结果。AWS 没有公开归一化公式、指标采样周期、滑动窗口或评分更新频率,因此不能仅凭权重推断实际调度行为。
默认权重为:
KVHeadroom:0.20,综合可用 KV Cache 与 GPU 显存余量。QueueDepth:0.25,反映请求积压程度。RegionProximity:0.40,衡量集群与网关区域之间的距离。ErrorRate:0.15,统计近期失败请求比例。
四个权重之和为 1。管理员可以全部重设,但不能只调整其中一个;例如把近期错误率提高到 0.7,就需要同步降低其余三个信号。权重可通过 CreateGlobalInferenceGateway 初次配置,也可通过 UpdateGlobalInferenceGateway 动态更新,更新不会重新预置集群,正在执行的请求继续沿用旧策略。
默认配置明显偏向同区域集群:它通常能降低网络延迟和跨区流量成本,但也可能在本地 GPU 已饱和时继续排队,而没有充分利用远端闲置容量。提高 RegionProximity 或 KVHeadroom 的权重,可以换取更高的资源利用率,但会增加跨区域传输、首 Token 延迟和数据驻留压力。
公开语义还意味着路由层至少需要维护每个健康集群的候选状态,逻辑上属于随集群数线性增长的评分过程。AWS 未说明是否采用缓存、批处理或增量更新,也没有公布元数据延迟。
故障转移与安全边界
网关会持续健康检查集群。集群故障后,新请求会转移到次优集群;故障请求最多在另一个集群重试一次,但如果流式响应已经开始,则不会自动重放。没有可用集群时,网关返回 503。
这一重试边界对生产接口非常重要。非流式生成请求通常可以安全地切换后端,但流式请求一旦输出部分 Token,重试可能造成重复内容、客户端状态错乱或计费异常。高并发业务不应把该机制视为通用的幂等重试层,仍需通过请求 ID、会话状态和客户端去重处理重复结果。
安全链路由三层组成:
- 客户端请求必须通过 SigV4 签名,并由 IAM 策略控制调用权限;流式调用使用独立 IAM Action。
- 网关在请求进入集群前检查签名、权限和限流状态。
- 客户端到集群的数据面通过 PrivateLink 传输,不依赖公网入口。AWS 表示网关不会记录或存储提示词与生成结果,但这不替代应用侧日志、追踪和合规审计。
需要额外客户身份校验时,可通过 X-Amzn-SageMaker-Customer-Identity-Token 传入 JWT,且不能添加 Bearer 前缀。令牌会纳入 SigV4 签名,未签名令牌返回 403,重复令牌返回 400。为避免同一请求在不同集群上产生不同认证结果,应在所有承载同一模型的集群上统一开启或统一关闭 JWT 校验。
工程权衡:容量利用率、延迟与稳定性并非免费兼得
跨区域溢出提高利用率,但会增加长尾延迟。 模型生成长度、上下文大小和 KV Cache 命中率都会影响跨区调度的实际收益。短请求可能承担明显网络成本,长上下文则可能放大传输时间与序列化开销。
加权评分存在反馈与抖动风险。 当多个集群同时出现高队列或高错误率时,流量可能集中涌向少数备用集群。公告没有说明滞后机制、迟滞区间、指标异常值处理或最大迁移速率,因此生产环境需要观察路由是否频繁切换。
自动故障转移不等于所有状态都可重放。 集群故障、流式中断和跨区域重试都会影响客户端一致性。对于 Agent 工具调用或带外部副作用的生成任务,网关级重试无法判断工具是否已经执行,业务接口仍需幂等键与执行记录。
跨区域数据驻留需要单独审查。 PrivateLink 和 AWS 骨干网络解决的是连接隔离,不代表数据始终停留在原区域。若模型请求包含受监管数据,应确认目标集群所在区域符合数据驻留政策。
托管服务会引入账单与平台耦合。 已发布但未加入任何网关的集群不会接收流量,但其 Network Load Balancer 仍会运行并计费。PrivateLink 资源、跨区域流量和网关调用费用也需纳入容量模型。接口虽然兼容 OpenAI 请求格式,SigV4 签名仍要求客户端集成 AWS 签名逻辑,不能直接等同于任意 OpenAI SDK 即插即用。
数据面调度不等于入口控制面高可用。 公告说明请求可跨区域转移,也说明 AWS 运维路由舰队,但没有披露区域入口本身的 SLA、多可用区冗余和控制面故障转移方式。生产采用前仍需确认入口不可用时客户端的重连与备用区域策略。
性能证据与评测边界
Bagelcode 的测试反馈称,该网关通过单一端点跨两个 AWS 区域路由请求,并在某个集群无法继续服务模型时保持服务。这证明双区域选路与集群级故障转移能够进入客户试用环境,但属于定性案例。
公告没有公布以下关键数据:网关增加的端到端延迟、每节点吞吐、并发上限、故障检测时间、流量恢复时间、KV Cache 利用率增益、跨区域字节数、每百万 Token 成本,以及相对自建 DNS、全局负载均衡器和 NLB 的对照结果。因此,目前不能从官方材料推导出稳定的性能提升比例。
更可靠的验证应保持模型版本、提示词、输出长度、批大小和客户端硬件不变,对比直连集群入口与 Global Inference Gateway,并分别记录 TTFT、TPOT、端到端时延 P95/P99、吞吐量、5xx 比例、故障恢复时间、KV Cache 命中率和每百万 Token 成本。短请求、长上下文、流式输出与突发流量应分开测试。
开发者落地与部署建议
- 先统一模型映射。 每个集群的
InferenceGatewayConfig都应包含对应 scheduler,并让可共享流量的集群使用相同modelName。未配置 scheduler 的模型会返回 404;生产环境还应保证各集群的模型版本、量化方式和推理参数一致,避免同一模型名指向不同行为。 - 只发布必要集群。 在
InferenceGatewayConfig中启用spec.globalRouting后,再调用CreateGlobalInferenceGateway。发布后会产生 NLB 等资源,不准备接流量的集群不要提前发布。 - 按故障域和业务边界分组。 需要严格数据驻留的模型应使用仅包含本区域集群的网关;允许跨区溢出的模型可把多个区域纳入同一网关。跨区域集群必须保留足够容量,否则故障转移只是把拥塞转移到另一处。
- 收紧 IAM 与客户身份。 调用方只获得
InvokeGlobalInferenceGateway和InvokeGlobalInferenceGatewayWithResponseStream权限。服务执行角色只应访问已登记集群、必要的 EKS API 和 TLS 存储桶中gig/前缀的资源。 - 保留渐进迁移与回滚路径。 迁移期间保留各集群原有 Inference Gateway 端点;新端点稳定后再切换客户端。删除网关不会立即停止原有集群端点,可用于故障回退。
- 主动演练故障场景。 分别测试整个集群不可用、错误率突增、单区域断连、流式响应开始后中断、路由权重更新和无健康集群等情形,验证客户端的重试、去重和 503 处理。
- 按真实 SLO 调整权重。 延迟敏感业务应提高
RegionProximity,弹性优先业务可提高KVHeadroom,稳定性优先场景可提高ErrorRate。调整后同时监控路由分布,避免多个集群之间来回迁移流量。 - 核算完整成本。 除 GPU 实例外,还应检查 NLB、VPC Endpoint、网关调用和跨区域数据传输费用,尤其要清理已发布但不承载流量的集群。
Global Inference Gateway 目前覆盖 13 个 AWS 区域。它适合已经采用 HyperPod、拥有多个模型副本并需要跨集群或跨区域高可用的团队;对于单一区域、单一集群或低流量工作负载,原有集群级 Inference Gateway 通常仍是更简单的选择。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-20)
主题标签: #AWS #SageMaker HyperPod #LLM 推理 #跨区域路由 #GPU 调度
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区