VIZ LAB / 236

机械可解释性可视化实验室

从电路分析到稀疏自编码器——把如何窥探大模型内部运作的核心机制以可交互 SVG 呈现。

01

机械可解释性全景

机械可解释性(Mech Interp)四大支柱:黑箱探针、电路分析、因果干预、研究里程碑。点击切换方法视图与里程碑时间线。

黑箱探针
输入输出观测
不打开模型
电路分析
逆向内部计算
注意力头功能
因果干预
激活修补
验证因果链
自动化
ACDC / SAE
规模化发现
02

电路分析

注意力头的功能解构:QK 电路决定“关注谁”,OV 电路决定“写入什么”。点击查看不同电路模式(诱导头、名字探测头)。

03

超位置

超位置假设:模型用近正交方向叠加远多于维度的特征。点击切换视角观察特征叠加、近似正交与解耦过程。

04

稀疏自编码器

SAE 用过完备字典把叠加的激活解耦为单义特征:编码器 → 稀疏瓶颈 → 解码器重建。点击训练 SAE 观察特征逐步单义化。

05

探针技术

线性 / 非线性探针探测模型内部表征是否编码了某概念。点击执行探测,观察探针准确率随层深变化与信息瓶颈。

06

因果干预

激活修补:把“干净”样本的激活拷贝到“腐败”样本运行中,定位因果关键路径。点击执行干预动画。

07

表征工程

激活转向:沿概念向量加减偏置,直接操控模型行为(情绪、安全、诚实)。点击转向表征观察输出变化。

08

可解释性前沿

缩放 SAE、跨模型对齐、自动化电路发现(ACDC)与未来挑战。点击查看趋势演进。

缩放 SAE
十亿级特征
Gemma Scope
跨模型对齐
特征 universality
不同模型共特征
自动化
ACDC / EAP
自动发现电路
挑战
幻觉·对齐
机制尚未明了