vLLM推出基于推送的KV传输机制，大幅提升大语言模型推理性能

摘要：vLLM开源推理引擎引入了基于推送的KV传输机制，通过优化KV缓存传输流程，显著提升了大规模语言模型（LLM）的推理性能。在Amazon EC2 P5en实例上的基准测试显示，新机制将首次令牌生成时间（TTFT）提高了3倍，每输出令牌处理时间（TPOT）提升了30%。该机制通过将KV传输协调移出关键路径，减少了延迟并提高了吞吐量，尤其在高并发场景下表现优异。

---

核心突破

vLLM开源推理引擎近日推出了基于推送（Push-based）的KV传输机制，旨在解决大语言模型（LLM）推理过程中KV缓存传输效率低下的问题。LLM推理分为两个阶段：预填充（prefill）和解码（decode）。预填充阶段处理输入提示并构建KV缓存，而解码阶段则利用该缓存逐个生成输出令牌。传统上，这两个阶段在不同的引擎实例上运行，需要在预填充和解码实例之间传输KV缓存，这成为影响首次令牌生成时间（TTFT）的关键瓶颈。

技术机制剖析

新推出的推送模式通过以下方式优化了KV传输流程：

1. 移除序列化瓶颈：推送模式通过预注册目标块并与预填充过程并行工作，消除了传统拉取模式中的序列化瓶颈。解码实例在预填充完成之前就注册了其目标块，KV传输在生产者块准备好后立即开始，避免了消费者端的ID发现往返。

2. 转移设置时间：推送模式将传输设置时间从解码实例转移到预填充实例，并在后台线程上运行。这使得解码实例在延迟关键的令牌生成阶段无需花费额外周期进行设置。

3. 线程模型优化：推送连接器使用专用的后台传输线程，将模型执行与KV传输准备分离。在请求开始时，解码主循环分配其目标KV块并向预填充实例注册，而预填充主循环计算提示KV缓存。预填充主循环在两者都准备好后将KV块交给后台线程，并迅速返回模型执行。

工程权衡与实测表现

在Amazon EC2 P5en实例上进行的基准测试中，推送模式在1P1D部署中表现优异。与拉取模式相比，推送模式在TTFT上实现了高达3倍的提升，在TPOT上实现了30%的提升。测试结果表明，推送模式在高请求率和长输入提示下表现尤为突出，因为拉取模式在解码工作线程中同步处理NIXL描述符，导致令牌生成停滞，而推送模式将其移至后台线程，避免了关键路径上的延迟。

开发者落地与部署建议

对于需要低TTFT的应用场景，推送模式是更优的选择。开发者可以通过配置预填充和解码服务器使用NixlPushConnector来启用推送模式。如果应用场景需要负载感知路由或双向KV传输，则应继续使用拉取模式。vLLM支持两种模式，开发者可以根据具体需求选择合适的方案。

未来展望

作为未来的改进方向，vLLM团队正在探索将后台NIXL线程模型引入拉取模式连接器，以使拉取模式工作负载也能从相同的优化中受益。相关工作已在GitHub上以拉取请求的形式进行讨论。

---

消息来源：AWS Machine Learning Blog (2026-10-19)

—— 完 ——

主题标签： #vLLM 关注 #KV传输 关注 #大语言模型 关注 #推理优化 关注 #开源AI 关注