智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #AWS #Amazon Bedrock #Prompt Caching #AI成本优化 #多租户

AWS发布Amazon Bedrock Prompt Caching:优化成本与延迟的六种实用场景

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 12 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AWS推出了Amazon Bedrock的Prompt Caching功能,通过缓存对话上下文的特定部分(如系统提示、文档和工具定义),显著降低输入token成本,最高可减少90%。该功能支持六种实用场景,包括消息内容、系统提示、工具定义、混合TTL、租户隔离以及与LangChain框架的集成。Prompt Caching不仅能减少重复计算,还能提升首token响应时间(TTFT),为开发者提供更高效、更经济的AI应用解决方案。


核心功能与优势

Amazon Bedrock的Prompt Caching功能通过以下方式优化AI应用的性能和成本:

  • 减少输入token成本:通过缓存重复的对话上下文,Prompt Caching可以减少高达90%的输入token成本。
  • 提升首token响应时间(TTFT):缓存机制减少了重复计算,从而加快了模型对请求的响应速度。
  • 支持多种缓存场景:从简单的消息内容缓存到复杂的系统提示和工具定义缓存,Prompt Caching适用于多种应用场景。

六种实用场景

  1. 消息内容缓存:适用于需要多次查询同一文档的检索增强生成(RAG)应用。例如,在法律文档分析中,缓存长篇文档可以显著减少重复处理的开销。
  2. 系统提示缓存:对于具有详细角色描述和行为指南的智能助手,系统提示缓存可以避免在每次对话中重复处理大量提示文本。
  3. 工具定义缓存:在多工具集成的智能体应用中,工具定义缓存可以防止在每次调用工具时重新处理复杂的JSON模式。
  4. 混合TTL缓存:通过为不同内容分配不同的TTL(生存时间),开发者可以精细控制缓存生命周期。例如,核心参考材料可以设置较长的TTL,而会话上下文则设置较短的TTL。
  5. 租户隔离:在多租户应用中,通过在缓存内容前添加租户ID的SHA-256哈希值,可以防止不同租户之间的缓存内容混淆。
  6. LangChain集成:LangChain框架的用户可以通过内置的API轻松集成Prompt Caching,无需手动管理底层缓存逻辑。

技术细节

  • 缓存点(cachePoint):在请求中插入一个cachePoint标记,Amazon Bedrock会评估该标记之前的内容是否与现有缓存条目匹配。如果匹配,则跳过重复处理,直接从缓存中读取。
  • 缓存范围:缓存条目按AWS账户和区域进行隔离,确保不同账户和区域之间的缓存内容互不干扰。
  • TTL管理:缓存条目的过期时间由请求中指定的TTL决定,支持从5分钟到1小时不等的TTL设置。

性能与成本效益

在重复上下文的场景下,Prompt Caching可以将输入token成本降低约75%。例如,对于一个10,000-token的文档和10个不同的问题,第一次请求会写入缓存,后续9个请求从缓存中读取,节省了大量成本。

开发者建议

  • 识别静态与动态内容:在设计缓存策略时,优先缓存静态内容(如系统提示、工具定义),而动态内容(如用户问题)则不缓存。
  • 合理设置TTL:根据内容的变化频率设置TTL,核心参考材料可以设置较长的TTL,而会话上下文则设置较短的TTL。
  • 监控缓存命中率:通过监控cacheWriteInputTokens和cacheReadInputTokens,可以评估缓存策略的有效性,并进行相应调整。

行业影响

Amazon Bedrock的Prompt Caching功能为AI应用开发者提供了一种高效的资源管理方式,尤其适用于需要处理大量重复数据的场景,如文档分析、智能助手和多工具集成应用。该功能的推出不仅降低了AI应用的成本,还提升了响应速度,为AI技术的广泛应用提供了新的动力。

开发者建议

对于使用Amazon Bedrock的开发者,建议从以下方面入手:

  • 评估现有应用:分析现有应用中的重复数据处理模式,识别适合缓存的场景。
  • 逐步实施缓存策略:从简单的消息内容缓存开始,逐步扩展到系统提示和工具定义缓存。
  • 结合LangChain框架:利用LangChain的集成功能,简化Prompt Caching的实现过程。

通过合理使用Prompt Caching,开发者可以显著提升AI应用的效率和经济效益。


消息来源:AWS Machine Learning Blog (2026-09-15)

—— 完 ——

主题标签: #AWS #Amazon Bedrock #Prompt Caching #AI成本优化 #多租户

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…