Hugging Face优化GLM-5.3远程KV缓存机制，显著提升长上下文LLM推理性能

摘要：Hugging Face针对GLM-5.3模型的长上下文推理场景，提出了一种改进的远程KV缓存方案。通过对MLA KV存储进行分片、异步加载优化以及修复客户端错误，团队将远程缓存命中率高的请求的尾部延迟从83.32秒降至0.67秒，同时将预填充吞吐量提高了14%。该方案还通过理论模型指导优化了远程缓存的带宽利用率，为大规模长上下文LLM的部署提供了更高效的解决方案。

---

背景与挑战

在长上下文大语言模型（LLM）的推理过程中，重用注意力KV缓存是降低预填充成本的标准方法。然而，随着模型规模的扩大和请求量的增加，远程KV缓存的性能瓶颈逐渐显现。Hugging Face的研究团队针对这一问题，对GLM-5.3模型（一种基于FP8的专家混合模型，采用了多头潜在注意力机制）的远程KV缓存进行了深入优化。

主要优化措施

1. MLA KV存储分片：研究团队将MLA KV存储分片到不同的PCP（预填充上下文并行）等级，并证明了现有的跨等级最小查找方法能够返回最长的缓存前缀，同时设计了一种永远不会使集合操作不同步的加载协议。

2. 远程缓存分区：通过按等级对远程缓存进行分区，每个服务器实例对应一个等级且无需协调，将GET带宽提高了6.3倍，达到10.76 GB/s。

3. 异步加载：在分片存储中引入了异步加载机制，进一步提升了缓存命中率高的请求的处理效率。

4. 客户端错误修复：修复了三个导致无限期停滞的客户端错误，确保了系统的稳定性。

实验结果

在处理高缓存命中率的请求流时，99%分位数的延迟从83.32秒降至0.67秒，预填充吞吐量提高了14%。结合上游内核修复后，整体吞吐量提升了34%。这些改进表明，通过优化远程KV缓存机制，可以显著提升长上下文LLM的推理性能。

工程权衡与未来方向

• 带宽与延迟的权衡：虽然异步加载和分片存储提高了带宽利用率，但增加了系统的复杂性，需要在延迟和吞吐量之间进行权衡。
• 缓存命中率的影响：对于短提示的请求，远程缓存的优势不明显，未来可以进一步优化缓存策略以适应不同长度的请求。
• 多节点部署的挑战：在多节点部署场景中，如何平衡负载和保证数据一致性仍需进一步研究。

结论

Hugging Face的这项研究为长上下文LLM的远程KV缓存优化提供了新的思路，通过理论指导的工程优化，显著提升了系统的整体性能，为大规模LLM的部署和应用奠定了基础。

---

消息来源：Hugging Face Daily Papers (2026-10-15)

—— 完 ——

主题标签： #Hugging Face 关注 #GLM-5.3 关注 #远程KV缓存 关注 #长上下文LLM 关注 #MLA架构 关注