推理芯片与加速架构可视化实验室
从 GPU/LPU/ASIC/WSE/NPU 芯片到 vLLM/TensorRT-LLM 推理框架——把 2024-2026 年大模型推理如何在专用硬件与软件栈上被极致加速的核心机制，以可交互 SVG 呈现。
推理芯片全景
AI 推理芯片五大流派：GPU(通用并行)、LPU(语言专用)、ASIC(矩阵专用)、WSE(晶圆级)、NPU(端侧神经)。以五维雷达图对比各类芯片在性能、能效、带宽、灵活性、成本效益上的定位。
Groq LPU 架构
Groq 张量流处理器(TSP)采用确定性执行模型：指令在编译期静态调度，无运行时冒险。片上 320MB SRAM 分布在功能单元中，数据如流水线般在 MXM/SXM/VXM/MEM/ICU 五大单元间流动，实现可预测的极低延迟。
Cerebras 晶圆级引擎
Cerebras CS-3 将整片晶圆做成单颗芯片(WSE-3)，集成约 850K 个核心与 44GB 片上 SRAM。MemoryX 系统将模型参数外置存储，SwarmX 互连按需将参数流式广播到晶圆，实现单芯片跑万亿参数模型。
定制 ASIC 推理
为推理量身定制的 ASIC：Google TPU v5/v6 脉动阵列、Tenstorrent RISC-V+AI 核、GroqNode 机架级 LPU。核心是矩阵乘加速器(脉动阵列)——数据在对角线方向流入 PE 阵列，乘加结果波浪式累积。
vLLM 推理框架
vLLM 三大核心：PagedAttention 把 KV Cache 当作操作系统虚拟内存分页管理，消除显存碎片；连续批处理动态插入新请求；前缀缓存复用共享提示词的 KV，避免重复计算。
TensorRT-LLM 优化
NVIDIA TensorRT-LLM 三大优化：算子融合把 Attention+MLP 多个核合并减少访存；INT8/FP8 量化降低显存与带宽 2-4 倍；内核自动调优在数千个 kernel 配置中搜索最优实现。
内存带宽优化
推理是显存带宽受限(memory-bound)任务。HBM3/HBM4 提供数 TB/s 带宽仍难填饱算力；KV Cache 随上下文线性增长吃满显存；多级缓存(寄存器→L1/L2→SRAM→HBM→DRAM)与分页/量化是破局关键。
推理 vs 训练算力
2024-2026 年推理算力需求以远超训练的速度爆发：模型一旦训练完成，其一生推理成本累积远超一次性训练成本。规模化部署使推理总算力在 2025 年前后反超训练，成本结构随之逆转。