AdaMem框架发布：提升RAG系统效率的软压缩新方法

摘要：AdaMem是一种基于相关性指导的软压缩框架，旨在优化检索增强生成（RAG）系统中的内存分配策略。该方法通过学习到的段落相关性估计，动态分配固定内存token预算，从而提高生成质量并降低推理延迟。在多个开放域问答基准测试中，AdaMem在标准16倍压缩下实现了高达3.2%的子串匹配提升，在64倍压缩下平均相对提升达14.6%。此外，AdaMem在推理延迟方面表现出色，在保持与全上下文推理相当质量的同时，将延迟降低了4倍。

---

技术背景与挑战

检索增强生成（RAG）通过检索证据来提升语言模型的性能，但处理大量长段落不仅成本高昂，还可能引入干扰信息。软压缩技术通过将段落编码为紧凑的连续记忆嵌入序列来缓解这一问题，但现有方法通常为每个保留的段落分配相同数量的记忆嵌入，而不考虑其与查询的相关性。

AdaMem的核心创新

AdaMem提出了一种相关性指导的软压缩框架，通过以下方式解决上述问题：

• 相关性引导的内存分配：AdaMem根据学习到的段落相关性估计，将固定内存token预算动态分配给查询相关的段落。
• 共享查询条件压缩器：该压缩器在单次处理中生成连续段落记忆和相关性分数。
• 确定性分配规则：根据分数分配更多内存token给高评分段落，并可完全省略低评分段落。

实验结果与性能

在六个开放域问答基准测试中，AdaMem在匹配内存预算的情况下始终优于OSCAR（均匀分配软压缩基线）以及其他软压缩方法：

• 在标准16倍压缩下，AdaMem相较均匀分配基线实现了高达3.2%的子串匹配提升，平均相对提升为3.4%。
• 在更激进的64倍压缩下，平均相对提升达到14.6%，在PopQA数据集上最大提升为9.8%。
• AdaMem在保持与全上下文推理相当质量的同时，将推理延迟降低了4倍。

行业影响与开发者建议

AdaMem的发布为RAG系统提供了更高效的内存管理方案，尤其在处理大规模检索池和有限内存预算的情况下表现出色。以下是开发者可以参考的几点建议：

1. 优化内存分配策略：在RAG系统中引入相关性指导的内存分配机制，以提升生成质量并降低延迟。
2. 动态调整资源分配：根据查询相关性动态调整资源分配，以实现更高效的计算资源利用。
3. 结合其他压缩技术：将AdaMem与现有的压缩技术结合，进一步提升系统性能。

未来展望

AdaMem展示了软压缩在RAG系统中的巨大潜力，未来可以进一步探索其在多模态RAG系统中的应用，以及与其他先进技术的结合，如强化学习和知识图谱。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-22)

—— 完 ——

主题标签： #AdaMem #RAG #软压缩 #检索增强生成 #内存管理