vLLM
vLLM 是由加州大学伯克利分校 RISELab 团队开源并主导的高吞吐量、低延迟大语言模型(LLM)服务与推理引擎(发表于 SOSP 2023)。它凭借首创的 PagedAttention 显存分页算法与精细化的调度架构,彻底解决了传统 LLM 服务显存碎片化严重、动态批处理效率低下的痛点,成为当今 AI 基础设施的事实工业标准。
1. 核心技术突破:PagedAttention 架构
在传统推理框架(如早期 Hugging Face Transformers)中,KV Cache(键值缓存)必须以整块连续的显存空间静态分配。由于用户 Prompt 长度各异、生成长度事先未知,系统只能按照模型最大上限(如 4096 或 8192 Token)预分配静态显存池,导致灾难性的显存浪费:
- 内部碎片(Internal Fragmentation):请求实际只生成了 100 Token,但预留了数千 Token 显存,未用空间无法回收。
- 外部碎片(External Fragmentation):内存分配器由于缺乏大块连续显存,无法容纳新请求。
- 浪费比例高达 60% 至 80%,导致显存几乎全被闲置的空缓存吃光,GPU 并发批次(Batch Size)受到极大制约。
传统连续显存分配 (严重碎片化与浪费)
[ Req A (Used 30%) | Unused 70% ] [ Req B (Used 15%) | Unused 85% ]
vLLM PagedAttention (类操作系统虚拟内存分页)
逻辑 KV 块 ───────► 页表 (Block Table) ───────► 非连续物理显存页 (Physical Pages)
[ Block 0 ] Page 12 [ Page 12 (16 tokens) ]
[ Block 1 ] Page 4 [ Page 4 (16 tokens) ]
[ Block 2 ] Page 89 [ Page 89 (16 tokens) ]
虚拟内存分页哲学
PagedAttention 借鉴了经典操作系统虚拟内存的“分页映射”机制:
- 物理块划分(Physical Blocks):将每层注意力计算所需的 Key 和 Value 向量切分成固定大小的物理显存“页”(Page,通常配置为 16 或 32 个 Token)。
- 动态逻辑映射(Block Table):为每个并发请求维护一张轻量级逻辑页表。生成的 Token 动态申请非连续的物理块,无需物理连续连续存放。
- 显存浪费压缩至 4% 以下:仅在每个序列最后一个未填满的物理块末尾存在微量碎片,显存利用率逼近 100%。在相同显卡配置下,服务吞吐量(Throughput)提升 2 至 4 倍。
- 写时复制(Copy-on-Write, CoW)与前缀共享(Prefix Caching): 当多个用户请求共享相同 System Prompt、多轮对话复用前序历史或运行束搜索(Beam Search)时,逻辑块直接指针映射到同一物理显存块;仅当某个请求生成不同内容时才触发物理页复制,使上下文复用成本几乎归零。
2. 动态调度机制:连续批处理与分块预填充
2.1 连续批处理(Continuous Batching)
传统的批处理必须等待整个 Batch 内最慢的长文本请求解码完毕后才能释放并接收新请求(导致短文本请求遭遇严重的流水线气泡)。
- vLLM 采用迭代级别调度(Iteration-level Scheduling):每个前向 Token 生成循环结束后,已结束的请求立即释放其显存块并返回结果,排队的新请求在下一步直接无缝插入现有 Batch,GPU 计算核心全程满载。
2.2 分块预填充(Chunked Prefill)
在长上下文场景下,单个长 Prompt 的预填充(Prefill)阶段会长时间独占 GPU 计算单元,导致正在进行解码(Decode)的并发请求出现明显的字间延迟卡顿(Inter-Token Latency, ITL 尖刺)。
- vLLM 将长 Prompt 切割为固定大小的块(Chunk,如 512 Token),将 Prefill 块与常规 Decode 步合并调度,彻底平滑服务延迟。
3. 分布式并行与硬件加速生态
vLLM 针对生产级多 GPU 和异构计算做了高度优化:
- 张量并行(Tensor Parallelism, TP):在单机多卡(通过 NVLink / NVSwitch)上利用 Megatron-LM 架构对线性层切分,通过高带宽 NCCL 通信实现百毫秒级极速响应。
- 流水线并行(Pipeline Parallelism, PP):支持跨节点千亿大模型(如 70B、405B)切分。
- 丰富的量化核(Quantization Kernels):原生无缝支持 FP8、AWQ、GPTQ、SqueezeLLM、INT4,在 Blackwell、Hopper(H100/H800/H20)及 Ada Lovelace 架构上深度调优。
- 底层加速算子集成:融合 FlashAttention-2、FlashAttention-3 以及 FlashInfer 核心库,配合 CUDA Graph 固化 Decode 前向计算图,消除了 CPU-GPU 交互调度开销。
4. 生产环境启动与关键参数调优实践
通过官方自带的 OpenAI 兼容服务快速拉起生产服务:
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.3-70B-Instruct \
--tensor-parallel-size 4 \
--gpu-memory-utilization 0.92 \
--max-model-len 32768 \
--enable-chunked-prefill \
--enable-prefix-caching \
--dtype bfloat16
核心调优参数速查表:
--gpu-memory-utilization:控制 vLLM 占用显存的上限(默认 0.90,建议生产设为 0.92-0.95)。过高可能导致 CUDA Graph 捕获失败或显存 OOM。--enable-prefix-caching:强烈推荐开启!对智能体(Agent)循环、长系统提示词或 RAG 场景带来数倍首字延迟(TTFT)下降。--enable-chunked-prefill:混合长短请求并发场景必备,显著降低长 Prompt 对并发流的抖动影响。--speculative-model:可搭配轻量草稿模型开启投机解码,实现单并发流 1.5-2.5 倍解码加速。- 结构化输出引导(Structured Outputs):集成 Outlines 和 XGrammar,支持按 JSON Schema 或正则表达式实施毫秒级无损语法约束解码。