智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #AWS #Amazon SageMaker AI #跨区域推理路由 #GPU容量容灾 #分布式推理

SageMaker AI上线跨区域推理路由,按健康度自动容灾

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Amazon SageMaker AI 正式推出跨区域推理路由,以 Regional inference router 统一调用多个 Region、账号中的端点或推理组件。路由器依据近期请求健康度优先本地调度,在 5xx、限流或超时导致容量失效时渐进切流,并只对可确认模型未执行的请求重试一次。跨账号 IAM、跨区域流量上限、CloudWatch 路由指标与逐请求归因均已内置,但不支持响应流式传输,且官方仅给出功能演示,缺少故障切换时延与成本数据。


发布内容:把跨区域容灾下沉到托管控制面

Amazon SageMaker AI 新增 Regional inference-router 资源。应用不再直接绑定某个 InvokeEndpoint 地址,而是调用 InvokeInferenceRouter,由路由器在已注册且有权访问的端点、Inference Component 或异步端点之间选择实际执行位置。原有模型、容器、实例池和自动扩缩容配置无需迁移,直接调用端点的接口也保持兼容。

路由器的核心抽象包括:

  • RoutingTarget:一个逻辑模型,可包含多个真实执行目的地,各目标独立故障转移。
  • Destination:以完整 ARN 标识端点或推理组件,因此能够解析目标所在的 Region 与 AWS 账号。
  • Local Destination:与路由器处于同一 Region 的目的地,默认获得优先级。
  • RoutingReason:随实时响应返回,说明请求为何落到当前目的地。

一个路由器最多支持 20 个路由目标,每个目标最多登记 10 个目的地。实时目标可以混合端点与推理组件,异步目标则必须全部为异步端点。

路由决策:健康度驱动的本地优先控制循环

路由器只考虑已登记、状态可调用且授权有效的目的地。同一 Region 内存在多个健康目的地时,请求会被均匀分配;只有本地目的地无法稳定服务时,新请求才会转移到远端,并按各远端健康度比例分配。当前版本不允许用户设置权重或固定回退顺序。

健康分由目的地所在 Region 的近期请求计算。5xx、限流和超时都会降低健康分,SageMaker AI 平台自身的健康检查失败影响最大;无效输入等请求自身错误不会降分,因为这类请求切换 Region 后通常仍会失败。一个关键限制是:模型延迟本身不参与健康计算。因此,一个持续成功但明显变慢的端点仍可能被保留流量,这对长文本生成、批处理合并或模型性能退化场景尤其需要额外监控。

目的地被归纳为三种状态:

  • healthy:正常接收流量。
  • overloaded:仍可服务,但路由器会迁出部分流量。
  • degraded:已经失败或无法服务,路由器迁出大部分流量,只保留少量探测流量以识别恢复。

实例启动失败或实例数低于自动扩缩容目标可以让系统更快感知容量压力,但必须先出现请求失败,路由器才会据此调整流量。持续错误通常约一分钟内触发切流,低流量目的地则需要更长时间;恢复后的流量回落更慢,以减少来回抖动。远端健康信息过期时,路由器倾向于留在本地,而不会仅因监控数据中断就主动跨区迁移。

重试边界:优先避免模型被重复执行

实时请求失败后,路由器最多在其他目的地重试一次,但仅限能够确认模型尚未执行的情形,例如限流、503、模型尚未就绪、跨区域流量上限拒绝或目标访问被拒。超时、500 和模型自身错误不会被自动重试,因为 AWS 无法排除模型已经执行但响应丢失的可能。

这实际上是在容灾收益与重复副作用之间划定边界,而不是提供全局 exactly-once 语义。带工具调用、写数据库、扣款或其他外部副作用的智能体请求,仍应携带业务幂等键,并自行处理结果未知状态。异步请求则按本地优先顺序逐一尝试目的地,每个合格目标只尝试一次,直到某个目标接受任务。

跨账号授权与流量保护

跨账号目的地需要双向授权。端点所有者通过资源策略允许路由器账号调用,并使用 sagemaker:SourceInferenceRouterArn 将权限限定到指定路由器;路由器账号还必须拥有目标端点的调用权限。路由器代表调用方执行请求,但不会向调用方传递其原本不具备的端点访问权。状态查看还需要独立的 DescribeEndpoint 或 DescribeInferenceComponent 权限。

接收端还可以设置跨区域流量上限:

C_cross = R_instance × N_in_service × p

其中 R_instance 是压测得到的单实例每秒可承载调用数,N_in_service 是当前服务实例数,p 是允许跨区域流量占用的比例。例如单实例 50 RPS、4 个实例、20% 上限时,跨区域请求上限为 40 RPS;扩容到 6 个实例后,上限自动升至 60 RPS。该上限不计入端点本地 Region 的请求,并且同一端点上的所有 Inference Component 共享这一额度。

工程权衡:容灾并不等于免费容量

这项功能的主要收益是把故障识别、重试分类、渐进切流、回切抑制和跨账号调用从每个应用的请求关键路径移入托管控制面。原有端点可以继续直接调用,应用也能逐步迁移到统一路由器。路由功能本身不额外收费,但端点、Inference Component、CloudWatch 指标以及备用 Region 的常驻实例仍按标准计费。

代价同样明确:跨 Region 故障切换会增加一次网络传输和路由器开销,可能显著拉高尾延迟;AWS 提供了 overhead.duration 指标,却没有公布典型幅度。路由器本身是 Regional 资源,其所在 Region 故障时调用仍会失败,生产系统需要在客户端配置两个 Region 的路由器及切换逻辑。路由器不会部署模型、复制制品、扩容端点或预热备用容量;零副本的冷备用目标在扩容完成前可能无法承接流量。

此外,当前版本不支持响应流式传输,实时请求约有 1 分钟超时上限,负载上限为 6 MB,PrivateLink 接口端点不支持 IPv6 或双栈。跨区域路由扩大了数据可能处理的地理范围,数据驻留与合规敏感业务应按地理域拆分独立路由器和目的地。

官方实测能证明什么

AWS 使用 Qwen3-4B 与 vLLM Inference Component,在 US East (Ohio) 和 US West (Oregon) 部署同一模型。测试中,本地组件运行时返回 local-preferred;移除本地组件后,流量切换至远端并标记为 only-healthy;组件恢复后,流量经过渐进回落重新命中本地。跨账号目标丢失和恢复访问权限的场景也验证了路由状态变化。

这组测试证明的是控制面状态机、目标登记和故障转移路径能够工作,不是性能基准。文章没有披露 p50、p95、p99 时延,错误率与吞吐上限,检测时延分布,跨区带宽成本,或在真实 GPU 配额紧张时的效果。因此,生产采用仍需使用自身模型、Payload 和实例组合做故障注入,不能把功能演示等同于 SLO 验证。

生产部署建议

  1. 设计双层故障域:在客户端配置两个 Regional 路由器;每个路由器再登记本地与异地目标,避免路由器 Region 本身成为单点。
  2. 保留温热备用容量:备用 Region 至少维持一个可用副本,并验证自动扩缩容能在依赖时限内完成;容量感知实例池可先处理同 Region 内替代实例,再由路由器处理跨 Region 溢出。
  3. 按真实负载测量额度:使用实际 Payload、模型长度和 Adapter 组合压测单实例 RPS,再设置跨区域上限与本地自动扩缩容余量。
  4. 保守处理客户端重试:超时、500 和模型错误不要盲目重试;涉及副作用的请求必须具备幂等保护。
  5. 建立路由可观测性:记录 InvokedRoutedResourceArn 与 RoutingReason,并对 CloudWatch 中的非健康目的地、错误率和路由开销建立告警。
  6. 隔离数据域:为不同驻留或合规区域建立独立路由器,不把不允许处理数据的 Region 登记为目标。
  7. 执行故障注入测试:分别模拟限流、端点删除、权限撤销、实例启动失败和网络抖动,验证切流时间、重复执行风险及恢复后的流量回落行为。

消息来源:AWS Machine Learning Blog (2026-11-19)

—— 完 ——

主题标签: #AWS #Amazon SageMaker AI #跨区域推理路由 #GPU容量容灾 #分布式推理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…