AWS推出基于查询感知的压缩技术,降低Amazon Bedrock上RAG运行成本
摘要:AWS发布了一种基于查询感知的上下文压缩模式,用于在Amazon Bedrock上降低检索增强生成(RAG)应用的运行成本。该方法通过在检索后使用较小的模型对检索到的内容进行过滤,保留与查询相关的内容,从而减少输入到主模型中的token数量,在保证回答质量的同时实现成本优化。该模式兼容Amazon Bedrock的多种检索器,并可与现有功能(如智能提示路由和重排序API)结合使用,进一步提升效率。
降低RAG成本的查询感知压缩技术
核心概念
在运行检索增强生成(RAG)应用时,输入token通常是成本的重要组成部分。AWS推出了一种基于查询感知的上下文压缩模式,通过在检索后使用较小的模型对检索到的内容进行过滤,保留与查询相关的内容,从而减少输入到主模型中的token数量,在保证回答质量的同时实现成本优化。
技术架构
- 检索阶段:用户提交查询,应用将查询发送到检索器,检索器返回前k个相关的内容块。
- 压缩阶段:这些内容块和查询一起被发送到较小的模型(例如Claude Haiku),该模型提取与查询相关的文本片段。
- 回答阶段:主模型(例如Claude Sonnet)接收压缩后的上下文并生成最终答案。
经济性分析
压缩调用的成本取决于两个因素:较小模型和主模型之间的价格比率,以及较小模型实现的压缩比率。当检索到的上下文较大、主模型价格较高以及压缩能够有效减少不相关内容时,压缩模式的经济效益最为显著。
实施细节
该模式通过单个AWS Lambda函数实现,该函数使用Amazon Bedrock Converse API调用两个模型。Lambda函数接收用户查询和检索到的内容块作为输入事件,并进行以下操作:
- 压缩调用:使用较小模型对内容块进行过滤,提取相关文本片段。
- 回答调用:将压缩后的上下文和查询发送到主模型,生成最终答案。
性能评估
在超过500,000份文档的语料库和500个问题上进行测试,结果表明:
- 成本:压缩模式将成本降低了33%,重排序加压缩模式降低了36%。
- Token数量:压缩模式将发送到主模型的token数量减少了8.6倍,重排序加压缩模式减少了10.1倍。
- 延迟:压缩模式增加了19%的延迟,重排序加压缩模式增加了12%的延迟。
- 质量:压缩模式的质量评分为97.5%,重排序加压缩模式为97.6%,与基线相比略有下降。
- 幻觉率:压缩模式降低了7个百分点,重排序加压缩模式降低了13个百分点。
生产环境中的应用建议
在采用该模式之前,需要考虑以下因素:
- 延迟:压缩调用会增加延迟,需根据具体应用场景进行评估。
- 质量:需确保压缩过程不会影响回答的准确性和完整性。
- 适用性:该模式适用于检索到的上下文较大、主模型成本较高且问题相对狭窄的场景。
结论
该模式为基于Amazon Bedrock构建的RAG管道提供了一种有效的成本优化方案。通过在检索和最终模型调用之间插入一个Lambda函数,可以针对特定工作负载精细调整成本和质量。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-08-21)
主题标签: #AWS #RAG #Amazon Bedrock #AI成本优化 #AI推理
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区