AWS发布OpenAI模型在Amazon Bedrock上的提示缓存模式：降低AI智能体运行成本

摘要：AWS推出了一种针对在Amazon Bedrock上运行的OpenAI模型的提示缓存模式，通过存储和重用模型输入提示（工具、指令和历史），显著降低了AI智能体的运行成本和延迟。该模式通过减少重复计算，使智能体能够更高效地利用上下文信息，从而在多轮对话中保持响应性和一致性。

---

背景与动机

在AI智能体的运行过程中，每次执行动作时，智能体都需要重新读取其整个上下文，包括工具定义、指令和历史记录。这种重复读取不仅增加了计算成本，还导致了显著的延迟。AWS推出的提示缓存模式旨在解决这一问题，通过存储和重用输入提示，使智能体能够更高效地利用上下文信息。

技术机制剖析

提示缓存的核心机制包括以下步骤：

1. 预填充（Prefill）：模型首先处理输入提示，构建其键和值向量（KV），形成模型的工作状态。
2. 缓存保存：提示缓存服务保存这个状态，当后续请求与之前输入的文本相同时，缓存服务加载保存的状态，而不是重新计算。
3. 增量处理：模型只处理新输入的增量部分，从而减少计算量。

提示缓存可以是隐式的，由Amazon Bedrock自动选择可重用的前缀；也可以是显式的，通过代码标记缓存断点。开发者可以结合使用这两种方式，以获得最佳效果。

工程权衡与实测表现

• 成本效益：在GPT-6 Astra模型上，静态缓存模式将输入成本降低了约50%，而滚动断点模式在六轮对话中实现了64%的成本降低。
• 延迟优化：通过减少重复计算，提示缓存模式显著提升了智能体的响应速度。
• 实现复杂性：开发者需要确保输入提示的序列化方式一致，并正确设置缓存断点。此外，工具和指令的变更需要谨慎处理，以避免缓存失效。

开发者落地与部署建议

1. 使用显式模式缓存静态内容：对于工具和指令等静态内容，使用显式模式进行缓存，并设置合适的TTL（生存时间）。
2. 结合隐式模式处理动态内容：对于对话历史和用户输入，使用隐式模式进行缓存，以适应对话的动态变化。
3. 管理工具变更：当工具列表发生变化时，保持初始列表稳定，并使用allowed_tools限制模型可调用的工具。对于新工具，使用additional_tools进行添加。
4. 监控缓存使用情况：使用Amazon CloudWatch监控缓存读取和写入的令牌数量，并定期检查缓存命中率，以优化缓存策略。

结论

AWS的提示缓存模式为AI智能体的运行提供了一种高效的解决方案，通过减少重复计算和降低延迟，显著提升了智能体的性能和成本效益。开发者可以结合使用显式和隐式缓存模式，并根据具体需求进行优化，以实现最佳效果。

---

消息来源：AWS Machine Learning Blog (2026-10-26)

—— 完 ——

主题标签： #AWS 关注 #Amazon Bedrock 关注 #OpenAI 关注 #Prompt Caching 关注 #AI Agents 关注