VIZ LAB / 191

注意力机制演进可视化实验室

从全注意力到线性注意力——把 2026 年注意力机制如何从 O(n²) 复杂度演进到高效变体的核心机制以可交互 SVG 呈现。

标准自注意力

Full Attention 的 QKV 计算：输入 → Q/K/V 投影 → 注意力矩阵 (QK^T) → Softmax → 加权求和。矩阵运算图展示完整计算流程，标注 O(n²) 复杂度。

复杂度

O(n² · d)

序列长度平方级

内存

O(n²)

注意力矩阵存储

公式

softmax(QK^T/√d)V

缩放点积注意力

瓶颈

长序列爆内存

n=8192 时 64GB

Sparse Attention：全局 token + 局部窗口 + 随机连接，降低注意力矩阵密度。对比稠密 vs 稀疏注意力矩阵。切换稀疏模式观察连接模式变化。

Sliding Window Attention：固定窗口大小的局部注意力，复杂度降至 O(n·w)。拖动滑块调整窗口大小，观察注意力矩阵与感受野变化。

窗口大小 w: 3

复杂度

O(n·w)

线性于序列长度

感受野

1层 w=3

多层堆叠扩展

代表模型

Longformer / Mistral

局部窗口注意力

Flash Attention 分块计算：将 QKV 分块加载到 SRAM → 计算 → 写出 HBM。内存层级图展示如何减少 HBM 访问次数。点击按钮观察分块执行。

Linear Attention (Linear Transformer / Performer)：用核函数将 softmax 注意力近似为线性计算 φ(Q)(φ(K)^T V)，复杂度降至 O(n·d²)。对比图展示标准 vs 线性计算流程差异。切换近似方法。

DeepSeek 的 MLA：低秩压缩 KV Cache → 潜在向量存储 → 推理时恢复。架构图展示压缩-恢复流程，对比标准 MHA vs GQA vs MLA 的 KV Cache 大小。切换注意力类型。

Mixture-of-Depths：每层只计算 Top-K token 的注意力，其余 token 直接跳过。流程图展示 token 路由和跳过机制。点击按钮观察路由执行。

所有注意力变体在复杂度、内存、速度、精度、实现难度维度的对比。表格 + 雷达图，切换对比维度高亮不同指标。