Amazon Bedrock为开放权重模型加入显式提示缓存
摘要:Amazon Bedrock现为受支持的开放权重模型加入显式提示缓存,并与既有的隐式缓存并行提供。开发者可在Chat Completions API中标记可复用前缀,避免多轮对话、RAG问答和编码智能体反复计算相同系统提示、工具定义及文档上下文,从而降低输入计费与首段生成延迟。AWS示例覆盖OpenCode会话及缓存读写计量,但未公布跨模型命中率、端到端时延或成本降幅;收益仍取决于前缀长度、复用频率、缓存写入溢价、TTL与区域路由。
核心变化
AWS在Amazon Bedrock的Chat Completions API中,把显式提示缓存扩展到受支持的开放权重模型;原有隐式缓存仍可使用,二者也可按模型能力组合。此次更新的对象不是新模型,而是Bedrock的推理基础设施:开放权重模型在多轮对话、RAG和编码智能体中反复发送相同长前缀时,服务可以复用已经计算的状态,减少重复Prefill。
支持范围并非全量承诺。模型、最小前缀Token数、最大断点数、TTL、API形态和可用区域均以对应模型卡为准。AWS还提示,跨区域推理在需求高峰期可能产生额外缓存写入,因此实际命中率不能只由请求结构推断。
技术机制:缓存的不是答案,而是前缀状态
提示缓存与常见的响应缓存不同。它不保存某个问题的最终答案,而是在后续请求出现完全一致的前缀时,复用该前缀在模型计算过程中产生的中间状态。对于主流自回归Transformer,这类状态通常对应各层的Key/Value张量,也就是KV Cache;但AWS没有披露Bedrock内部缓存的具体格式、硬件位置和调度机制,因此不能把它等同于用户可导出的通用KV缓存文件。
缓存命中的前提是前缀在模型词元化后保持一致。只要前缀开头发生一个字符、时间戳或请求ID变化,后续可复用范围就可能从该位置开始失效。这也是AWS建议把系统提示、工具定义和参考文档放在最前面,把动态内容放在末尾的原因。
从计算量看,设缓存前缀长度为P、每次新增尾部为M、隐藏维度为d、层数为L。未命中时,稠密Transformer的Prefill开销可粗略写成O(L[(P+M)d² + (P+M)²d])。命中后,前缀的QKV投影和MLP计算可以跳过,但新增Token的Query仍需关注全部P+M个位置,因此注意力部分仍约为O(LM(P+M)d),另加缓存状态读取和尾部计算。缓存因此主要削减长前缀的重复计算,而不是消除模型对完整上下文的注意力。
KV状态本身也可能很大。以GQA模型为例,单序列缓存的近似字节数为2 × L × H_kv × d_head × S × b,其中H_kv是KV头数,S是上下文长度,b是元素字节数。若采用32层、8个KV头、128维头维度、FP16,约为128 KiB/Token;128K上下文仅KV状态就接近16 GiB。Bedrock托管了这一资源层,开发者无需自行分配显存,但其容量、路由与跨区域复制仍会影响写入和命中表现。
隐式缓存与显式缓存如何选择
| 维度 | 隐式缓存 | 显式缓存 |
| --- | --- | --- |
| 请求改动 | 无需增加缓存参数 | 设置prompt_cache_options.mode=explicit,并添加prompt_cache_breakpoint |
| 缓存范围 | Bedrock以best-effort方式自动选择合格前缀 | 缓存断点及其之前的全部内容 |
| 适合场景 | 对话历史、编码智能体循环等天然具有稳定前缀的请求 | 固定共享文档加动态问题,或多层前缀需要精确控制时 |
| 主要风险 | 可能把后续变化内容也写入缓存,产生无用写入 | 模式与断点配置不完整时不会按预期工作 |
隐式缓存会自动选择可缓存前缀。AWS示例中,系统提示和产品手册保持不变,用户问题逐次变化:第一次请求写入缓存,后两次请求可以读取系统提示,但还会尝试写入少量新的问题Token。如果对话早期内容被改写,缓存需要从变化点重新构建。
显式缓存允许在多个层级设置断点,例如先缓存全局指令和工具定义,再缓存某个客户或文档集合。每次请求必须同时提供prompt_cache_options,并在文本内容部件上标记prompt_cache_breakpoint;显式模式没有断点时不会缓存,只有断点而没有显式模式时则退化为隐式行为。可选的ttl取值同样取决于模型卡,每次命中都会刷新TTL。
工程权衡:省钱不等于免费写缓存
缓存读取通常按低于标准输入的价格计费,但缓存写入在部分模型上可能高于普通输入价格。假设标准输入单价为S,写入倍率为w,读取倍率为r,一个稳定前缀经历一次写入和后续N−1次命中时,其简化成本为PS[w + (N−1)r],而无缓存成本为NPS。当r < 1且写入更贵时,理想化盈亏平衡条件为N > (w-r)/(1-r)。真实系统还要计入TTL过期、路由变化和未命中导致的重复写入。
这解释了显式缓存的工程价值:当共享前缀之后的问题每次都不同,显式断点可以阻止这些无用尾部被写入高溢价缓存。它也说明“开启缓存”未必立即省钱,低复用率、短生命周期或写入倍率较高的模型反而可能增加成本。
延迟收益同样不是常数。缓存可减少长上下文的Prefill时间,因而通常有利于首Token延迟;但缓存查询、状态传输、排队、尾部注意力以及输出解码仍然存在。短提示、低并发或瓶颈位于模型解码阶段时,端到端收益可能很小,个别情况下还可能被缓存写入开销抵消。
提示缓存也不会提高模型推理质量、扩大上下文窗口或消除幻觉。它复用的是相同前缀的计算状态,模型仍需基于完整上下文生成新Token。生产评测应同时检查缓存命中带来的成本下降与任务成功率、事实准确率、结构化输出校验通过率是否发生回退。
实测表现与评测边界
AWS用一份约4,000 Token的水过滤器产品手册演示支持助手。首次隐式调用写入缓存,后续调用读取系统提示,并写入少量新问题Token;显式模式的冷启动只写一次,后续重复请求读取整个断点前缀而不写入。如果在TTL内重新运行,隐式样例中的后续调用也可以全部转为读取。
OpenCode示例进一步展示了编码智能体的典型请求序列。一个代理轮次可能先发送系统提示、工具定义和用户任务,模型返回工具调用后,代理再发送“上一请求加工具调用及执行结果”的扩展请求。Bedrock可读取前一请求的前缀,只处理新增尾部。这类工作流无需额外缓存配置即可使用隐式模式。
这些结果验证了缓存读写语义,但不是性能基准。官方图表明确标为示意,未给出统一模型、输入长度、并发量、命中率、TTFT分位数或成本降幅,无法据此推导任意工作负载的节省比例。OpenCode 1.18.35通过OpenAI兼容提供商接入时,也不会记录cache_write_tokens,因此导出数据中的cache.write=0不代表后端没有执行写入,而是客户端遥测缺失。
开发者落地与部署建议
- 先核对模型卡与区域。 确认目标开放权重模型支持隐式、显式或两种模式,并检查最小前缀长度、最大断点数、TTL、缓存读写单价、区域可用性及跨区域推理路由规则。
- 把提示拆成稳定层和动态层。 系统指令、工具Schema、检索文档和租户级固定内容放在前面;时间戳、请求ID、随机问题和用户输入放在最后。任何前缀前部的微小变化都会扩大失效范围。
- 按工作流选择模式。 对话和代理循环适合隐式缓存;RAG问答、共享产品手册以及多层租户上下文适合显式断点。显式模式必须同时设置请求选项和内容断点。
- 逐请求读取使用量。 通过
usage.prompt_tokens_details.cached_tokens与cache_write_tokens区分读取、写入和未缓存Token;再结合CloudWatch中的CacheReadInputTokenCount与CacheWriteInputTokenCount建立命中率和写入放大监控。 - 同时记录性能与质量指标。 除输入成本外,还应跟踪冷启动与热缓存的TTFT、端到端P50/P95、缓存未命中恢复时间、每项成功任务成本和输出质量回归。测试冷缓存时可加入唯一运行ID,避免误用上一轮残留缓存。
- 控制凭证与数据边界。 使用IAM授权和最长12小时的短期Bedrock API Key,避免持久化密钥。AWS声明Bedrock中的提示和输出不会共享给模型提供商或用于训练模型,但仍需按具体开放权重模型的许可证、AWS服务条款和数据保护条款完成合规审查。
结论
这次更新的关键不是新增一种模型,而是把显式前缀控制能力带进Amazon Bedrock的开放权重模型推理路径。对于反复发送系统提示、工具定义和长文档的代理工作流,它能减少重复Prefill并提供更精确的写入范围;但真正的收益仍取决于词元级前缀稳定性、缓存生命周期、模型价格结构和实际流量。生产部署的关键不是“打开一个开关”,而是把提示布局、缓存模式、请求计量与端到端回归测试作为同一套推理优化工程。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-16)
主题标签: #Amazon Bedrock #提示缓存 #开放权重模型 #推理成本优化 #OpenCode
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区