AI HARDWARE LAB · INTERACTIVE SVG

AI 芯片与硬件架构可视化实验室

用 8 个可交互 SVG 模块,从晶体管到数据中心尺度拆解 AI 加速硬件:GPU 流多处理器微架构、Tensor Core 矩阵乘加、显存层级与带宽墙、NVLink 多卡互联、Roofline 性能模型、低比特量化、推理硬件对比与分布式并行通信模式。

8 Modules SVG + Vanilla JS Zero Dependencies Single File
01STREAMING MULTIPROCESSOR

GPU/TPU 架构

流多处理器(SM)是 GPU 的基本计算单元。每个 SM 包含 CUDA Core、Tensor Core、Warp 调度器、寄存器堆与 L1/共享内存。下方可视化对比 A100 / H100 / B200 的 SM 阵列规模与单 SM 内部结构,并展示寄存器→L1→L2→HBM 的存储层级。

芯片布局与 SM 微架构
02MATRIX MULTIPLY-ACCUMULATE

Tensor Core 矩阵计算

Tensor Core 通过单条 MMA(Matrix Multiply-Accumulate)指令完成一个矩阵分块的乘加:D = A×B + C。它在一个时钟周期内完成远超 CUDA Core 的 FMA 运算。下方动画演示分块矩阵 A、B 的点积如何累加进 C,并对比不同数据类型的吞吐。

MMA 指令流水线
03MEMORY HIERARCHY

显存层级

GPU 存储呈金字塔结构:寄存器最快最小,HBM 最大最慢。访问延迟与带宽相差数百倍。下方动画模拟数据在层级间的流动——命中上层缓存即快速返回,未命中则下沉到 HBM。切换顺序/随机访问可观察命中率与有效带宽的剧烈变化。

Registers → L1 → L2 → HBM
04MULTI-GPU INTERCONNECT

NVLink 互联

单 GPU 显存容量有限,大模型需跨卡通信。NVLink 提供远超 PCIe 的 GPU 间带宽。下方对比三种拓扑:Ring(环形)、Full Mesh(全互联)与 NVSwitch(集中交换),并实时展示数据包在链路上的流动与聚合带宽差异。

拓扑结构与数据流
05PERFORMANCE MODEL

Roofline 模型

Roofline 模型用运算强度(FLOP/Byte)与可达性能(FLOP/s)的对数图刻画硬件瓶颈:左侧斜线区为内存受限,右侧水平区为计算受限,交点即脊点(Ridge Point)。将算子标记其上,可一眼判断该算子是带宽墙还是算力墙。

Roofline 对数图
06LOW-BIT PRECISION

量化在硬件层

量化把高精度权重压缩到低比特(FP32→FP16→INT8→INT4),在硬件上同时换来显存占用下降、带宽压力减轻与整数算力提升,代价是精度损失。下方并排展示同一张量在不同精度下的位宽表示与体积,并量化显存/加速/精度三者的权衡。

精度对比与位宽表示
07HARDWARE BENCHMARK

推理加速对比

不同硬件擅长不同负载:CPU 通用性强但吞吐低;GPU/TPU 适合大规模并行;NPU/ASIC 为推理定制,能效最高。下方让 CPU/GPU/TPU/NPU/ASIC 在同一模型上“赛跑”,并对比延迟、吞吐与能效(TOPS/W)。调整模型大小与批尺寸可观察排名变化。

推理赛跑与能效对比
08DISTRIBUTED PARALLELISM

数据并行 vs 张量并行

数据并行(DP)在每张卡复制完整模型、切分数据,反向需 AllReduce 同步梯度;张量并行(TP)把单层权重切到多卡,前向 AllGather、反向 ReduceScatter。下方可视化两种策略的显存划分与通信模式,并量化通信量、效率与单卡显存。

并行策略与通信模式