vLLM推出双向KV缓存传输机制，显著提升多轮对话智能体任务性能

摘要：vLLM开源推理引擎引入了双向KV缓存传输机制，通过允许预填充节点和解析节点跨轮次重用之前计算的上下文数据，显著降低了首次令牌生成时间（TTFT）。在Amazon EC2 P5en实例上的基准测试显示，该机制在多轮对话场景下将Qwen3-32B的TTFT降低了1.6倍，GLM-5-FP8的TTFT降低了3.3倍。该机制通过减少重复计算和优化缓存利用率，提升了多轮对话任务的推理效率。

---

技术机制剖析

vLLM此次推出的双向KV缓存传输机制旨在解决多轮对话场景中由于重复计算导致的延迟问题。在传统的预填充-解析（P-D）分离架构中，KV缓存仅从预填充节点单向传输到解析节点，而双向KV传输机制则允许解析节点在生成响应后，将KV缓存返回给预填充节点，供后续轮次使用。这一机制通过以下方式实现：

1. KV缓存保留与重用：解析节点在生成响应后保留符合条件的KV缓存，并在下一轮请求时将其元数据返回给预填充节点。预填充节点根据配置的重用阈值，决定是否从解析节点拉取KV缓存或重新计算。

2. KV缓存感知路由器：vLLM引入了一个轻量级的KV缓存感知路由器，负责管理客户端、会话ID与KV缓存元数据之间的映射关系。该路由器在每轮对话中记录并更新KV缓存的位置和有效期，确保预填充节点能够准确获取可重用的KV缓存。

3. NIXL KV连接器增强：NVIDIA Inference Xfer Library (NIXL) 的KV连接器被扩展，以支持预填充节点从远程拉取KV块。这使得预填充节点和解析节点能够更高效地协同工作，减少了数据传输的延迟。

工程权衡与实测表现

双向KV传输机制在提升性能的同时，也带来了一些权衡：

• KV传输时间增加：尽管双向传输减少了重复计算，但KV缓存的传输本身也会引入一定的延迟。在基准测试中，KV传输时间约为30ms到130ms。

• 缓存空间占用：解析节点需要保留更多的KV缓存，这会增加显存占用。不过，通过配置合理的TTL（生存时间）和重用阈值，可以有效控制缓存空间的占用。

在Amazon EC2 P5en实例上的基准测试中，双向KV传输机制在多轮对话场景下表现出色：

• Qwen3-32B：TTFT从158ms（2k提示长度）降低到122ms（开启双向传输），在24k提示长度时，TTFT从778ms降低到460ms，提升了约1.6倍。

• GLM-5-FP8：TTFT从500ms（2k提示长度）降低到358ms（开启双向传输），在20k提示长度时，TTFT从2334ms降低到702ms，提升了约3.3倍。

开发者落地与部署建议

对于开发者来说，部署双向KV传输机制需要以下步骤：

1. 升级vLLM版本：确保使用vLLM v0.21.0或更高版本。

2. 配置NixlConnector：在预填充和解析服务器上启用双向KV传输功能。

3. 部署KV缓存感知路由器：使用vLLM提供的示例代理代码，并根据实际环境进行适配。

4. 调整配置参数：根据模型计算时间、KV大小和网络性能，调整KV重用阈值和TTL，以达到最佳性能。

结论

双向KV传输机制通过减少重复计算和优化缓存利用率，显著提升了多轮对话任务的推理效率。该机制在Amazon EC2 P5en实例上的基准测试中表现出色，尤其适用于需要处理长上下文和多轮对话的智能体应用场景。

---

消息来源：AWS Machine Learning Blog (2026-10-19)

—— 完 ——

主题标签： #vLLM 关注 #双向KV传输 关注 #多轮对话 关注 #推理优化 关注 #P-D分离架构 关注