SageMaker实时端点上线KV感知路由,精准复用长上下文缓存
摘要:Amazon SageMaker AI 为实时端点新增 KV_AWARE 路由。模型容器通过事件流上报 KV Cache 的写入与淘汰,托管索引仅保存截断单向哈希和实例指针;请求到达后,系统按可复用的最长 Token 前缀匹配候选,并结合实例负载完成分流。该机制能修正固定前缀路由在缓存淘汰后的误判,适合多轮对话、RAG 与长共享提示。AWS 官方测试称缓存命中率由 3%—48% 提升至 80%—93%,但具体收益仍取决于提示长度、并发与容器兼容性。
Amazon SageMaker AI 已为实时推理端点引入 KV_AWARE 路由。它不再仅根据请求文本猜测缓存可能位于哪台实例,而是利用模型容器上报的 KV Cache 状态,选择真正持有最长可复用前缀、且当前负载可接受的实例。
路由机制:让调度器看见真实缓存状态
此前的 PREFIX_AWARE 路由会对请求开头的固定长度内容计算哈希:InvokeEndpoint 按前 PrefixLength 个字节处理,OpenAI 兼容 Chat Completions API 则按字符处理。它不需要容器反馈,但存在两个工程盲区。
第一,实例的缓存会变化。GPU 显存不足时,vLLM 会淘汰较旧的 KV Cache 项,而固定前缀路由器仍会把请求送回原实例,导致缓存已经失效却继续重建。第二,短对话尚未达到 PrefixLength 时,每轮新增历史都会改变被哈希的文本,导致同一会话在扩容后的实例之间漂移;只有请求长度超过阈值,首部哈希才重新稳定。
KV-aware 路由由三部分组成:
- 容器事件流:开启
SM_VLLM_KV_EVENTS_CONFIG后,支持的 vLLM 容器在写入或淘汰缓存项时发布事件。 - 托管缓存索引:SageMaker AI 根据事件维护端点级索引。它只保存缓存内容的单向截断哈希,以及对应实例或推理组件副本的指针,不保存提示、Token ID、请求载荷或 KV Tensor。
- 请求级调度:请求到达后,端点对提示进行 Token 化,查询持有部分或全部提示的候选实例,再综合最长匹配长度与实例负载选择目标。若索引查询失败、没有有效匹配或全部候选繁忙,则回退到与
LEAST_OUTSTANDING_REQUESTS相同的负载感知路由。
AWS 没有公开候选实例的具体评分系数。工程上可将其理解为 U(i) ≈ αC(i) - βL(i) - γS(i):缓存匹配长度 C(i) 越高,潜在复用收益越大;当前负载 L(i) 会降低调度优先级;索引不确定性或事件延迟则构成额外惩罚。这只是对公开行为的抽象,并非 AWS 公布的内部算法。
缩容时,索引会删除已移除实例的条目;扩容或滚动更新产生的新实例则从空缓存开始。路由随缓存淘汰移动,避免固定前缀方案持续命中已经失效的缓存。
工程原理:KV Cache 复用为何降低首 Token 延迟
自回归推理的 Prefill 阶段会为提示中的 Token 计算并缓存各层的 Key 和 Vector。后续请求若复用相同前缀,就可以直接读取已有 KV,仅对新增 Token 执行前向计算,从而减少注意力计算、显存读写和首 Token 等待时间。标准稠密注意力的交互规模随序列长度呈二次增长;FlashAttention 等内核虽然显著降低中间内存访问,但没有消除这一渐近计算特征。
KV Cache 的近似显存占用可写为:
M_KV ≈ 2 × L × H_kv × d_head × s × N
其中 L 为层数,H_kv 为 KV 头数,d_head 为头维度,s 为单元素字节数,N 为缓存 Token 数,前面的 2 对应 Key 与 Vector。采用 Grouped-Query Attention 时,较小的 H_kv 可以显著压缩缓存占用;但多轮对话、RAG 文档和长系统提示仍会持续推高 N,最终触发分页、换出或淘汰。
KV-aware 路由的收益来自减少需要重新 Prefill 的 Token 数,而不是让解码阶段凭空跳过计算。已经生成的 Token 仍须逐个解码,模型质量也不会因路由改变。它最适合“相同长前缀被高频复用且缓存经常承压”的请求分布;若提示很短,可节省的 Prefill 本来就有限,额外的 Token 化与索引查询反而可能占据较大比例。
实测表现:官方数字能说明什么
AWS 在 7 台 ml.p5.48xlarge 上运行 Llama 3.1 70B Instruct,进行了 30 分钟、20 或 100 个模拟用户、最高约 64K Token 的多轮聊天和文档问答测试。与随机路由相比,KV-aware 路由在长提示高负载场景中最多将 p50 首 Token 时间降低 97%,吞吐提高 234%,KV Cache 命中率由 3%—48% 提高到 80%—93%。
另一组规模更小、可复现的测试使用两台 ml.g5.xlarge 运行 Qwen3-4B-Instruct-2507:32 个用户围绕 12 个约 7,400 Token 的文档连续提问,每轮重发完整历史。两组交叉顺序测试中:
- CloudWatch
ModelLatencyp50 从随机路由的 3,153/4,083 ms 降至 656/700 ms; - 第 2—4 轮 TTFT p50 从 1,284/1,632 ms 降至 237/245 ms;
- 缓存 Token 占比从 76.1%/70.1% 提升到 90.3%/90.3%;
OverheadLatency平均值则从 13.1/8.1 ms 增至 27.1/27.5 ms,即额外增加约 14—19 ms。
这些结果证明该机制能够在重复长上下文负载中提高缓存定位精度,但不能直接外推到所有模型。最大化的 97% TTFT 降幅来自特定长提示、高并发负载,并与随机路由比较;官方数据没有给出 KV_AWARE 与更接近的 PREFIX_AWARE 基线对比,也未披露置信区间和多次重复的统计方差。小规模测试只覆盖一个模型、一种实例和合成文档流量,而且 CloudWatch ModelLatency 与客户端测得的 TTFT 不是同一指标。因此,生产验收仍应同时观察 p95/p99 尾延迟、成功响应吞吐、缓存命中率、路由开销和每次成功请求成本。
工程权衡与限制
- 容器绑定:首发仅支持 AWS vLLM Deep Learning Container,包括 vLLM 0.33.0 及以上版本,或
server-sagemaker-cuda-v2.8.0及以上的 Amazon Linux 构建;它不是可移植到任意 vLLM、SGLang 或自研推理栈的通用协议。 - 请求格式受限:仅接受 OpenAI 兼容的 Completions 与 Chat Completions 载荷,不支持
InvokeEndpointWithBidirectionalStream。 - 隔离语义不同:该功能不提供此前前缀感知路由的多租户前缀隔离,会忽略
prompt_cache_key和前缀感知 ID;顶层cache_salt非空时请求直接返回 400。受多租户或敏感数据影响的系统不能把它当作隔离边界。 - 调度可观测性仍不完整:发布时没有单独的 KV-aware 路由指标,也不会在控制台或指标中报告回退事件,模型容器也不会向用户账户输出路由决策日志。必须通过缓存 Token、命中率、TTFT 和
OverheadLatency间接验证。 - 扩缩容存在冷缓存:新实例没有历史 KV,实例替换期间 TTFT 会暂时升高。滚动或蓝绿更新只能缩短影响窗口,无法消除首个请求的冷启动。
- 索引属于托管实现:事件格式、索引一致性和调度代码未开源,外部团队无法审计其完整一致性边界。AWS 免收额外路由费用,但实例、存储与监控成本仍然存在。
开发者落地与部署建议
- 检查运行条件:使用受支持的 vLLM GPU 容器,确认 Prefix Caching 已启用。单模型端点至少需要两个实例;推理组件端点至少需要两个副本,两个副本可以位于同一实例。若只有一个目的地,
KV_AWARE配置不会报错,但不会产生调度收益。 - 开启缓存事件:在模型容器环境变量中设置
SM_VLLM_KV_EVENTS_CONFIG,其值可采用{"enable_kv_cache_events":true,"publisher":"zmq","endpoint":"tcp://*:5557","topic":"kv-events","replay_endpoint":"tcp://*:5658"}。这些端口仅用于实例内部通信,不应暴露到外部网络。端点生产变体随后设置{"RoutingConfig":{"RoutingStrategy":"KV_AWARE"}}。若镜像基于 CUDA 13,还需配置兼容的InferenceAmiVersion。 - 打开效果观测:设置
SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS=true,从响应的usage.prompt_tokens_details.cached_tokens检查请求级命中;同时启用 Detailed Observability,通过 CloudWatch 或 PromQL 跟踪 KV Cache 命中率和 TTFT。详细观测需要 AWS CLI 2.35.6+ 或 Boto3 1.43.31+。 - 执行三路 A/B 测试:保持模型、镜像、实例类型、实例数、提示集和并发完全一致,同时运行
RANDOM、PREFIX_AWARE与KV_AWARE。重点记录 TTFT p50/p90/p99、端到端 p99、缓存 Token 比例、有效吞吐、OverheadLatency、GPU 显存和每次成功响应成本,而不是只看平均延迟。 - 设计渐进发布:先在小规模端点复现多轮会话与 RAG 流量,再使用滚动或蓝绿策略更新生产端点。扩容后应预留缓存重建窗口,并为路由回退和事件链路建立外部告警。
- 按负载类型选型:稳定共享前缀、提示较短、负载中等且容器不受支持时,
PREFIX_AWARE更简单;长会话、共享文档、高并发和显存压力明显时优先测试KV_AWARE;请求短且可互换,或部署的并非 LLM 时,随机或最少在途请求路由通常更合适。
推理组件端点同样支持动态 LoRA 适配器,路由只会选择已经加载目标适配器的实例副本。该功能把缓存位置感知下沉为托管调度能力,但是否值得启用,最终取决于真实流量中可复用 Token 的比例、缓存淘汰频率以及新增路由开销能否被 Prefill 节省覆盖。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-17)
主题标签: #Amazon SageMaker AI #KV Cache #推理路由 #vLLM #LLM Serving
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区