M1 · 稀疏自编码器全景
稀疏自编码器(Sparse Autoencoder, SAE)将神经网络中多义的叠加态激活分解为单义、稀疏、可解释的特征方向。当特征数 N 远大于神经元数 M 时，模型将特征以近正交方向"叠加"存储在权重矩阵中，SAE 通过过完备字典学习还原这些特征，是机械可解释性的核心工具。
M2 · 叠加原理
叠加态(Superposition)解释了为何少量神经元能表示大量特征：在稀疏激活条件下，模型将特征编码为高维空间中近正交的方向而非独立神经元，代价是特征间存在干扰。理解叠加的几何与容量边界，是设计 SAE 的理论基础。
M3 · SAE 训练流程
SAE 训练目标是在重构输入的同时保持隐层激活稀疏。编码器将激活 h 映射为稀疏潜在码 z，解码器从 z 重构 h。损失由重构项(L2)与稀疏项(L1 或 TopK)组成。训练良好的 SAE 能学到单义特征字典，使每个潜在维度对应一个可解释的概念。
M4 · 单义特征提取
叠加态使单个神经元多义，SAE 通过过完备字典学习将多义激活分解为单义特征。每个 SAE 潜在维度应只对单一概念响应，从而实现可解释性。字典学习、特征提取与可视化共同验证单义性假设。
M5 · 特征电路分析
单义特征是理解模型的"词汇"，电路则是"语法"。特征电路分析追溯特征如何跨层组合、归因与因果交互，揭示模型从输入到输出的计算路径。通过因果追踪与电路可视化，可定位关键计算节点。
M6 · SAE 变体演进
标准 ReLU+L1 SAE 存在 shrinkage、死特征与特征吸收问题。TopK-SAE 用硬稀疏替代 L1，JumpReLU 引入可学习阈值，BatchTopK 在批次级选 TopK，Gated SAE 分离门控与幅值。每种变体在稀疏性、重构与可解释性上有不同权衡。
M7 · SAE 评估指标
SAE 评估是多维度的：重构质量衡量信息保留，稀疏度衡量压缩效率，可解释性衡量人类可读性，忠实度衡量因果有效性。四者存在张力——更稀疏往往牺牲重构，需在应用场景下找到帕累托最优点。
M8 · 应用场景
SAE 衍生的单义特征为模型可解释性、模型引导、安全检测与对齐辅助提供基础能力。从理解模型行为到主动引导输出，从检测欺骗与后门到辅助对齐，特征级工具正成为可信 AI 的关键基础设施。