AI 对齐新范式可视化实验室

RLHF 三阶段：SFT 监督微调、RM 奖励模型训练、PPO 策略优化。切换阶段观察数据流与各阶段目标。

DPO 把偏好优化转化为分类损失，省去显式奖励模型与 PPO。切换视角观察 DPO 与 RLHF 流程及损失函数对比。

Constitutional AI 以一组原则（宪法）驱动模型自我对齐：生成-批评-修正循环，减少人工标注。点击执行观察自我修正循环。

可扩展监督应对超人类能力对齐：AI 辩论、AI 辅助标注、弱到强泛化。切换范式观察不同监督策略。

对齐会带来"对齐税"：能力损失与帮助性下降。切换维度观察权衡曲线与缓解策略。

越狱攻击通过角色扮演、编码、多轮诱导绕过对齐；防御靠红队、对抗训练、输入过滤。切换视角观察攻击向量与防御闭环。

对齐前沿包括个性化 Superego、QA-LIGN 原则分解、可解释对齐等方向。切换方向观察研究布局。