arXiv发布KVLearn：优化LLM服务中KV缓存保留策略的新框架

摘要：arXiv近日发布KVLearn，这是一款针对分布式LLM服务中KV缓存保留的全新学习框架。KVLearn通过轻量级前缀重用预测器（PRP）估算重用概率，并结合成本感知保留评分（CARS）和自适应阈值控制器（ATC），在全局分布式服务拓扑中动态调整缓存策略。实验表明，KVLearn在首字延迟和跨节点KV传输量方面均显著优于传统方法，如LRU-Pool和Mooncake式基线，同时在多模态工作负载中表现出色。

---

背景与挑战

在分布式大语言模型（LLM）服务中，KV缓存管理是影响服务性能的关键因素。传统缓存策略假设缓存未命中只会导致本地重新计算，但在分布式架构中，未命中还会引发跨节点网络传输，这增加了延迟和带宽消耗。此外，缓存块的全局接纳决策也需要额外的数据传输，导致内存和带宽的浪费。

KVLearn框架

KVLearn通过以下核心组件解决上述问题：

1. 前缀重用预测器（PRP）：

   • PRP是一种轻量级预测器，通过分析前缀的结构和时间特征来估算重用概率，而无需修改模型权重。
   • 该方法利用前缀的统计特性来预测后续使用模式，从而为缓存决策提供依据。

2. 成本感知保留评分（CARS）：

   • CARS将重用概率转换为保留/接纳决策，综合考虑重新计算成本、网络传输成本和存储成本。
   • 通过量化不同决策的成本影响，CARS能够优化缓存的整体资源利用率。

3. 自适应阈值控制器（ATC）：

   • ATC根据观察到的命中率（hit rate）和内存压力动态调整接纳阈值。
   • 该机制确保缓存策略能够适应动态变化的工作负载和资源条件。

实验与结果

KVLearn在全局分布式服务拓扑中进行了评估，测试了文本和多模态工作负载，包括具有异构重用模式的大规模图像/视频衍生KV块。实验结果表明：

• 与无缓存方案相比，KVLearn将首字延迟降低了高达56%。
• 与LRU-Pool相比，KVLearn将首字延迟降低了38%，并将跨节点KV传输量减少了53%。
• 在MM-Session基准测试中，KVLearn的吞吐量保持在Oracle的约5%以内。

工程权衡与部署建议

KVLearn在提升性能的同时，也引入了一些权衡：

• 计算开销：PRP和CARS的计算需要额外的计算资源，但通过轻量级设计和自适应机制，这些开销被控制在可接受的范围内。
• 内存占用：ATC的动态调整机制需要一定的内存来存储状态信息，但总体上对内存的影响较小。

对于开发者而言，KVLearn的部署建议包括：

• 资源监控：建议在部署KVLearn时，结合资源监控工具，实时调整ATC参数以适应动态变化的工作负载。
• 多模态支持：KVLearn对多模态工作负载的支持使其特别适合需要处理图像、视频等数据的应用场景。
• 性能优化：建议在生产环境中进行充分的性能测试，以确定最佳的PRP和CARS参数配置。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-22)

—— 完 ——

主题标签： #KV缓存 关注 #分布式LLM 关注 #缓存优化 关注 #arXiv 关注 #机器学习 关注