INTERACTIVE TRAINING-SYSTEM VISUALIZER
用 交互式 SVG 理解
大模型分布式训练的每个细节
从数据并行到 ZeRO 优化，从流水线气泡到故障恢复——8 个可交互模块，拨动滑块、点击按钮，直观观察分布式训练系统中的计算、通信与显存博弈。
8modules
0dependencies
1single file
SVGrendering
01
数据并行 Data Parallelism
每个 GPU 持有完整模型副本，数据分片并行前向计算，反向后通过 AllReduce 同步梯度。GPU 越多吞吐越高，但通信量随之增长。
控制台
统计
02
张量并行 Tensor Parallelism
将单个大矩阵乘法切分到多 GPU：列并行按输出维度切分，行并行按输入维度切分。分别用 AllReduce / AllGather 合并结果。
控制台
统计
03
流水线并行 Pipeline Parallelism
模型按层切分到多 stage，micro-batch 流水填充。对比 GPipe（全前向全反向）与 1F1B（交错调度）的气泡差异。
控制台
统计
04
ZeRO 优化 Zero Redundancy Optimizer
逐级分片优化器状态、梯度、参数，消除数据并行中的显存冗余。柱状图对比 ZeRO-1/2/3 每张卡的显存分配。
控制台
统计
05
混合精度训练 Mixed Precision
对比 FP32 / FP16 / BF16 / FP8 的位宽与数值范围。展示 FP16 前向 + 梯度缩放 + FP32 master 权重更新的完整流程。
控制台
统计
06
梯度检查点 Gradient Checkpointing
以时间换空间：前向只保存部分层激活，反向时重新计算。对比有/无检查点的显存曲线与计算开销。
控制台
统计
07
通信拓扑 Communication Topology
对比 Ring AllReduce、Tree AllReduce、参数服务器三种集合通信拓扑的数据流动与步数。
控制台
统计
08
故障恢复 Fault Tolerance
训练时间线上的 checkpoint 保存点。模拟节点故障后从最近 checkpoint 恢复，观察丢失步数与恢复开销。
控制台
统计