VIZ LAB / 254

推测解码与推理加速可视化实验室

把大模型推理加速的核心机制——草稿-验证范式、Medusa 多头、EAGLE 隐状态外推、Lookahead 解码、KV 缓存与 PagedAttention、连续批处理——以 8 个可交互 SVG 模块直观呈现。

推理加速技术全景

大模型推理加速分三层：算法层（推测解码/投机采样）、模型层（草稿模型/Medusa/EAGLE/Lookahead）、系统层（KV 缓存/PagedAttention/连续批处理/前缀缓存）。点击按钮分层高亮。

说明点击上方按钮，分层查看推理加速 12 项核心技术。

小草稿模型串行生成 γ 个候选 token，大目标模型用一次并行前向把它们与第 γ+1 位一起验证；按概率接受/拒绝，被拒处由目标模型重采样。单次验证得到 1~γ+1 个 token，无质量损失。

提示逐步执行查看草稿生成 → 并行验证 → 接受拒绝三阶段。

草稿模型是推测解码的"猜测器"：参数小、速度快、但精度有限。点击切换不同规模的草稿模型，观察其与 7B 目标模型的协同加速比与接受率权衡。

当前0.5B 草稿模型 · 6 层 · 接受率 55% · 与 7B 协同加速约 1.7×

Medusa 在 LLM 末层隐藏状态上挂多个轻量预测头，每个头预测 t+1..t+k 位置的 token，无需独立草稿模型。结合 tree attention 单次前向验证整棵候选树。

Medusa 头数当前 1 个头，预测 t+1 位置。点击"添加"可扩展到最多 4 个头。

EAGLE 用 1 层 decoder 在隐藏状态 (feature) 空间自回归外推，共享目标模型的 LM head 与 embedding，相比 Medusa 捕获位置间依赖，接受率更高；配合动态草稿树进一步提速。

说明点击"运行 EAGLE"观察 1 层 decoder 在特征空间的外推流程。

KV 缓存避免重复计算历史 token 的 K/V，但标准连续分配导致显存碎片化。PagedAttention 借鉴 OS 虚拟内存，按固定大小分页，消除碎片，显存利用率从 ~60% 提升至 ~96%。

PagedAttention分页式管理，消除碎片化，显存利用率从 ~60% 提升至 ~96%。

静态批处理必须等所有请求完成才能开下一批，GPU 利用率低。连续批处理在每次解码步动态加入/移除请求，lane 即时复用，GPU 持续饱和，吞吐提升 4-8×。

连续批处理GPU 持续饱和，吞吐量提升 4-8×，P99 延迟显著降低。

算法层 (推测/Medusa/EAGLE) 加速 2-3.4×；系统层 (连续批处理) 额外叠加 2-3×。二者正交组合，端到端可达 8× 以上加速，且无质量损失。切换指标查看不同维度。

吞吐量切换指标查看不同方法的相对表现（基线=1.0）。