VIZ LAB / 310

HBM内存与近存计算可视化实验室

从内存墙瓶颈到HBM4堆叠演进，从CXL互连协议到近存/存内计算架构，从MoE万亿参数内存挑战到带宽优化与未来光学互连——把AI时代内存系统的核心机制以可交互SVG呈现。

内存墙问题

AI计算中，GPU算力每代增长2-3倍，而HBM带宽仅增长1.5倍，导致处理器大量时间在等待数据。屋顶线模型揭示了算术强度如何决定程序受限于带宽还是算力。

算术强度 50 FLOP/Byte

屋顶线模型算力带宽差距

算力增长

每代 2-3x

FP16/FP8算力飞速提升

带宽增长

每代 1.5x

HBM带宽增长缓慢

内存墙

利用率 < 30%

大量时间等待数据

HBM4技术演进

HBM从HBM2到HBM4，带宽从256GB/s提升至2000+GB/s，容量从8GB增至48GB，堆叠层数从4层到16层。3D堆叠通过TSV硅通孔实现高密度互连，是AI加速器的关键内存技术。

参数对比 3D堆叠结构

HBM2

256 GB/s · 8GB · 4层

2016年 · Pascal/Volta

HBM3E

1200 GB/s · 24GB · 12层

2024年 · Hopper B200

HBM4

2000+ GB/s · 48GB · 16层

2026年 · Rubin

CXL互连协议

CXL (Compute Express Link) 基于PCIe物理层，提供缓存一致性互连。CXL.io负责设备发现，CXL.cache实现主机-设备缓存一致，CXL.mem支持内存池化与扩展，是打破内存容量墙的关键协议。

协议架构拓扑结构延迟对比

CXL.io

设备发现/配置

PCIe兼容 · 非一致性

CXL.cache

缓存一致性

主机可访问设备缓存

CXL.mem

内存池化/扩展

主机访问设备端内存

近存计算架构

近存计算将计算单元(NPU)与高带宽内存(HBM)紧密耦合在同一封装内，数据无需经过PCIe长距离搬运，延迟降低数倍。NPU直接访问HBM，实现"数据不动计算动"的范式。

系统架构数据流优化

近存计算

NPU + HBM

计算单元紧邻内存

延迟优化

7.5x 降低

消除PCIe瓶颈

能效提升

数据搬运能耗↓

就地处理数据

存内计算

存内计算(PIM/CIM)在存储单元内直接执行矩阵乘加运算，利用物理定律(欧姆定律/基尔霍夫定律)实现原生并行计算。模拟存内计算高能效低精度，数字存内计算高精度低能效。

交叉阵列模拟 vs 数字

RRAM

阻变随机存储

高密度 · 4-8bit · ~100 TOPS/W

PCM

相变存储

稳定可调 · 2-4bit · ~80 TOPS/W

MRAM

磁阻存储

高耐久 · 1-2bit · ~50 TOPS/W

MoE内存挑战

万亿参数MoE模型拥有数百个专家网络，全部权重需驻留显存，远超单GPU容量。专家分区、流水线并行、CPU/NVMe Offloading是三大应对策略，各有吞吐-延迟-显存权衡。

专家分布优化策略

专家分区

每GPU持部分专家

All-to-All通信开销

流水线并行

按层切分到多GPU

微批次重叠执行

CPU Offloading

非活跃专家卸载

GPU→CPU→NVMe三级

带宽优化技术

算子融合将多个kernel合并减少HBM往返；Flash Attention通过分块计算避免实例化N×N注意力矩阵，将内存从O(N²)降至O(N)；Tensor Core复用最大化每次访存的计算密度。

算子融合 Flash Attention

算子融合

多核合一

减少80% HBM带宽需求

Flash Attention

O(N²)→O(N)

分块计算 · SRAM驻留

Tensor Core复用

提升算术强度

每次访存更多计算

未来内存技术

光学互连用光替代电信号突破铜线带宽极限；3D SoIC封装实现逻辑-逻辑芯片堆叠；持久性内存结合DRAM速度与SSD非易失性；RRAM/PCM等新型存储器件为存算一体奠定基础。

技术路线图技术详情

光学互连

硅光子技术

带宽密度10-100x · 功耗1/5

3D SoIC

逻辑-逻辑堆叠

互连能耗降低90%

持久性内存

断电不丢

字节寻址 · CXL持久化