智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #AWS #AgentCore #速率限制 #AI网关 #流量治理

AWS 为 Bedrock AgentCore 网关推出细粒度速率限制,强化 AI 流量治理

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 11 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AWS 宣布为 Amazon Bedrock AgentCore 网关推出速率限制功能,支持按用户、角色、目标、模型等维度配置请求、令牌和连接限制。该功能基于 JWT 声明或 IAM 身份进行精细控制,可有效保护下游模型、工具和智能体免受流量高峰冲击。本文解析其核心机制、配置示例及最佳实践,帮助开发者在生产环境中实现公平使用与容量保护。


概述

Amazon Bedrock AgentCore 网关是 AWS 推出的全托管无服务器 AI 网关,为 AI 流量提供统一的安全入口。近日,AWS 宣布为 AgentCore 网关增加速率限制功能,允许开发者按用户、角色、目标等维度精细控制流量,确保下游服务在高负载下保持可用。

核心特性

AgentCore 网关支持三种速率限制指标:

  • 请求速率限制:以每秒请求数(RPS)和每分钟请求数(RPM)衡量,适用于所有目标类型。每个请求计为一个单位,无论其执行时长。
  • 令牌速率限制:以每分钟令牌数(TPM)衡量,仅适用于推理目标。网关使用通用分词器预估输入令牌,并在调用前预扣,响应后根据实际用量校准。
  • 连接速率限制:以每秒连接数(CPS)衡量,适用于所有目标类型。该限制跟踪每个请求占用连接的时间,特别适合限制长连接并发会话。

配置机制

速率限制配置由维度键和条目组成。维度键定义流量如何分组到速率桶,支持 targetName、toolName、qualifiedModelId 以及 JWT 声明(如 $.context.jwt.role)等。条目定义每个桶的允许吞吐量,支持通配符 * 实现按值独立桶。

示例:按角色设置请求和连接限制,为 Basic、Advanced、Beta 用户组分配不同配额,并支持通配符兜底。

最佳实践

  • 分层限制:结合组级和用户级限制,防止单个用户耗尽组配额。
  • 维度顺序:更具体的限制优先评估,通配符只能出现在尾部。
  • 避免高基数声明:不要使用 jti、nonce 等无界声明作为维度键。
  • 安全边界:速率限制采用 fail-open 语义,不能替代安全控制,应配合 WAF 等使用。
  • 可观测性:启用应用日志,利用 OpenTelemetry 属性监控速率限制评估。

智能体工作负载

对于智能体调用,需同时考虑调用频率限制和下游资源消耗限制。若智能体使用 OBO 令牌交换,下游请求携带用户身份,用户级限制生效;若使用客户端凭证,则需为智能体自身设置限制。

总结

AgentCore 网关的速率限制功能为 AI 流量治理提供了强大工具,结合身份认证、策略控制和日志,可构建生产级 AI 网关。开发者应遵循最佳实践,确保公平使用和系统稳定。


原文出处:AWS Machine Learning Blog


消息来源:AWS Machine Learning Blog (2026-08-06)

—— 完 ——

主题标签: #AWS #AgentCore #速率限制 #AI网关 #流量治理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…