WHY IT MATTERS
「模型能力看权重，服务能力看引擎」· vLLM 是开源 LLM 的隐形地基
vLLM 起源于 UC Berkeley Sky Computing Lab 的 PagedAttention 研究（SOSP 2023），核心洞察是把操作系统的虚拟内存分页思想搬进 KV Cache 管理：显存碎片从 60-80% 降到 4% 以下，同卡可服务并发数成倍增长，吞吐较 HF Transformers 提升 2-24×。配合迭代级调度（continuous batching）、前缀缓存、投机解码、量化内核与张量/流水线并行，vLLM 已成为 DeepSeek/GLM/Qwen 等新模型 Day-0 落地的事实标准，也是几乎所有开源推理服务的默认底座。理解 vLLM，就是理解「LLM 是如何被服务出来的」。