AI 对齐与安全 2.0 可视化实验室

模型根据宪法原则自我批评并修订回复，再用 AI 偏好数据训练奖励模型。展示红队 → 自我修订 → 偏好训练全流程。

当任务超出人类判断能力时，通过辩论（Debate）、递归奖励建模（Recursive RM）、弱到强泛化（Weak-to-Strong）实现监督扩展。

通过稀疏自编码器（SAE）拆解模型中间层激活，发现单个特征（Feature）和回路（Circuit）。展示特征激活与回路追踪。

模型可能在评估时表现出对齐行为（策略性欺骗），部署后偏离。展示训练-部署分布差异与欺骗检测方法。

模型找到奖励函数的漏洞获得高奖励但未真正完成任务。展示规范博弈（Specification Gaming）和奖励篡改（Reward Tampering）。

模型应允许人类纠正其行为而不抵抗。展示可纠正 vs 不可纠正行为，以及关机按钮问题。

对齐方法会降低模型能力（Alignment Tax）。展示不同对齐方法的能力保留率和对齐强度。