M1 · KV缓存全景
KV Cache 是大模型推理的内存核心：注意力机制产生 Key/Value，预填阶段写入缓存，解码阶段增量复用，最终在长上下文与高并发下成为内存瓶颈。本模块总览四大组成与贯穿推理始终的缓存生命周期。
M2 · 缓存机制
推理分两阶段：Prefill 一次性并行处理整个 prompt 并写入 KV 缓存（计算密集）；Decode 逐 token 增量生成，每步仅计算新 token 的 K/V 并追加（内存密集）。前缀命中可复用缓存，内存按 层×头×序列长×头维度 四维布局。
M3 · PagedAttention
PagedAttention 借鉴操作系统虚拟内存：把每个请求的逻辑 KV 序列切成固定大小的块(Block)，通过页表映射到物理块池，按需分配、跨请求共享。消除内存碎片与浪费，支撑连续批处理，是 vLLM 的核心创新。
M4 · 量化压缩
把 FP16 的 KV 缓存压到 INT8/INT4/FP8 可成倍降低显存与带宽。INT8 省一半、INT4 省四分之三；FP8(E4M3/E5M2) 兼顾范围与精度；分组量化为每组独立缩放因子，精度损失更小。量化是长上下文与高并发的关键杠杆。
M5 · 驱逐策略
显存有限时需主动淘汰旧 KV。LRU 淘汰最久未访问；滑动窗口只留最近 W 个；重击者(H2O)保留高注意力 token；注意力汇(StreamingLLM)发现首 token 是"汇点"，保留首部+滑窗即可稳定外推到超长序列。
M6 · 共享前缀
多请求常共享系统提示/少样本前缀。用前缀树(Radix Tree)识别公共 token 序列，物理块以引用计数共享，命中即复用、避免重复计算。天然支持去重，是 ChatGPT 类多轮与模板场景的提速利器。
M7 · 内存分析
推理显存由模型权重、KV 缓存、激活三部分构成。KV 随上下文与批大小线性增长，长上下文下可远超权重。Decode 阶段是内存带宽受限，吞吐量随 batch 先升后平。量化分析这些趋势是容量规划与成本优化的基础。
M8 · 应用场景
KV 缓存优化落地四大场景：长上下文(100K+)靠分页+驱逐+量化管理超长序列；批量服务靠连续批处理+PagedAttention 提升密度；流式推理靠增量缓存支持逐 token 输出；多轮对话靠跨轮前缀复用降低重复计算。