机械可解释性可视化实验室
从电路分析到稀疏自编码器——把如何窥探大模型内部运作的核心机制以可交互 SVG 呈现。
01
机械可解释性全景
机械可解释性(Mech Interp)四大支柱:黑箱探针、电路分析、因果干预、研究里程碑。点击切换方法视图与里程碑时间线。
黑箱探针
输入输出观测
不打开模型
电路分析
逆向内部计算
注意力头功能
因果干预
激活修补
验证因果链
自动化
ACDC / SAE
规模化发现
02
电路分析
注意力头的功能解构:QK 电路决定“关注谁”,OV 电路决定“写入什么”。点击查看不同电路模式(诱导头、名字探测头)。
03
超位置
超位置假设:模型用近正交方向叠加远多于维度的特征。点击切换视角观察特征叠加、近似正交与解耦过程。
04
稀疏自编码器
SAE 用过完备字典把叠加的激活解耦为单义特征:编码器 → 稀疏瓶颈 → 解码器重建。点击训练 SAE 观察特征逐步单义化。
05
探针技术
线性 / 非线性探针探测模型内部表征是否编码了某概念。点击执行探测,观察探针准确率随层深变化与信息瓶颈。
06
因果干预
激活修补:把“干净”样本的激活拷贝到“腐败”样本运行中,定位因果关键路径。点击执行干预动画。
07
表征工程
激活转向:沿概念向量加减偏置,直接操控模型行为(情绪、安全、诚实)。点击转向表征观察输出变化。
08
可解释性前沿
缩放 SAE、跨模型对齐、自动化电路发现(ACDC)与未来挑战。点击查看趋势演进。
缩放 SAE
十亿级特征
Gemma Scope
跨模型对齐
特征 universality
不同模型共特征
自动化
ACDC / EAP
自动发现电路
挑战
幻觉·对齐
机制尚未明了