智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #AWS #RAG #Amazon Bedrock #AI成本优化 #AI推理

AWS推出基于查询感知的压缩技术,降低Amazon Bedrock上RAG运行成本

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AWS发布了一种基于查询感知的上下文压缩模式,用于在Amazon Bedrock上降低检索增强生成(RAG)应用的运行成本。该方法通过在检索后使用较小的模型对检索到的内容进行过滤,保留与查询相关的内容,从而减少输入到主模型中的token数量,在保证回答质量的同时实现成本优化。该模式兼容Amazon Bedrock的多种检索器,并可与现有功能(如智能提示路由和重排序API)结合使用,进一步提升效率。


降低RAG成本的查询感知压缩技术

核心概念

在运行检索增强生成(RAG)应用时,输入token通常是成本的重要组成部分。AWS推出了一种基于查询感知的上下文压缩模式,通过在检索后使用较小的模型对检索到的内容进行过滤,保留与查询相关的内容,从而减少输入到主模型中的token数量,在保证回答质量的同时实现成本优化。

技术架构

  1. 检索阶段:用户提交查询,应用将查询发送到检索器,检索器返回前k个相关的内容块。
  2. 压缩阶段:这些内容块和查询一起被发送到较小的模型(例如Claude Haiku),该模型提取与查询相关的文本片段。
  3. 回答阶段:主模型(例如Claude Sonnet)接收压缩后的上下文并生成最终答案。

经济性分析

压缩调用的成本取决于两个因素:较小模型和主模型之间的价格比率,以及较小模型实现的压缩比率。当检索到的上下文较大、主模型价格较高以及压缩能够有效减少不相关内容时,压缩模式的经济效益最为显著。

实施细节

该模式通过单个AWS Lambda函数实现,该函数使用Amazon Bedrock Converse API调用两个模型。Lambda函数接收用户查询和检索到的内容块作为输入事件,并进行以下操作:

  1. 压缩调用:使用较小模型对内容块进行过滤,提取相关文本片段。
  2. 回答调用:将压缩后的上下文和查询发送到主模型,生成最终答案。

性能评估

在超过500,000份文档的语料库和500个问题上进行测试,结果表明:

  • 成本:压缩模式将成本降低了33%,重排序加压缩模式降低了36%。
  • Token数量:压缩模式将发送到主模型的token数量减少了8.6倍,重排序加压缩模式减少了10.1倍。
  • 延迟:压缩模式增加了19%的延迟,重排序加压缩模式增加了12%的延迟。
  • 质量:压缩模式的质量评分为97.5%,重排序加压缩模式为97.6%,与基线相比略有下降。
  • 幻觉率:压缩模式降低了7个百分点,重排序加压缩模式降低了13个百分点。

生产环境中的应用建议

在采用该模式之前,需要考虑以下因素:

  • 延迟:压缩调用会增加延迟,需根据具体应用场景进行评估。
  • 质量:需确保压缩过程不会影响回答的准确性和完整性。
  • 适用性:该模式适用于检索到的上下文较大、主模型成本较高且问题相对狭窄的场景。

结论

该模式为基于Amazon Bedrock构建的RAG管道提供了一种有效的成本优化方案。通过在检索和最终模型调用之间插入一个Lambda函数,可以针对特定工作负载精细调整成本和质量。


消息来源:AWS Machine Learning Blog (2026-08-21)

—— 完 ——

主题标签: #AWS #RAG #Amazon Bedrock #AI成本优化 #AI推理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…