自监督学习可视化实验室
从对比学习到掩码建模——把自监督学习如何从无标注数据中提取表征的核心机制以可交互 SVG 呈现。
01
SSL 范式全景
三大学习范式对比：监督学习（需标注）、自监督学习（自生成标签）、半监督学习（少量标注）。切换范式观察数据效率与标注依赖差异。
监督学习
需人工标注
标注成本高,数据有限
自监督学习
自生成标签
利用数据内在结构,无需标注
半监督学习
少量标注 + 大量无标注
折中方案,标注成本低
核心优势
数据规模不受限
可利用海量无标注数据
预训练阶段
大规模无标注
学习通用表征
微调阶段
少量标注数据
适配下游任务
为什么重要
突破标注瓶颈
数据是新时代的燃料
02
对比学习框架
SimCLR/MoCo/CLIP 对比框架：数据增强 → 双视图编码 → 正负样本对 → InfoNCE 损失。执行训练步骤观察表征拉近与推远过程。
SimCLR
大批量端到端
简单有效,需大 batch
MoCo
动量编码器 + 队列
解耦 batch 大小限制
CLIP
图文对比对齐
跨模态共享嵌入空间
InfoNCE
噪声对比估计损失
拉近正对,推远负对
正样本对
同一样本增强视图
应映射到相近表征
负样本对
不同样本的视图
应映射到远离表征
温度参数
τ = 0.07-0.5
控制对比强度
03
掩码图像建模
MAE/BERT 掩码策略：随机遮挡 → 编码器处理可见部分 → 解码器重建缺失区域。执行掩码观察编码器-解码器重建过程。
MAE
高比例随机掩码
75% 掩码率,ViT 编码
BERT
掩码语言建模
15% token 随机遮挡
掩码策略
随机 / 块状 / 混合
影响重建难度与表征质量
重建目标
像素 / token / 特征
直接重建 vs 特征预测
编码器
仅处理可见区域
高效,计算量减少 4x
解码器
轻量重建网络
仅在预训练使用
掩码率
60-90%
越高表征越抽象
04
预训练目标设计
四类代理任务：对比预测、掩码重建、预测编码、聚类分配。切换目标观察损失函数特性与适用场景差异。
对比预测
CPC / SimCLR
最大化正样本相似度
掩码重建
MAE / BERT
重建被遮挡的内容
预测编码
CPC / data2vec
上下文预测未来表示
聚类分配
DeepCluster / SwAV
在线聚类分配标签
损失函数
InfoNCE / MSE / CE
根据目标选择
设计原则
难度适中
过易学不到,过难学不会
05
表征质量评估
四种评估协议：线性探测、微调迁移、最近邻检索、t-SNE 可视化。评估表征观察不同协议下的质量分数。
线性探测
冻结 + 线性分类器
评估表征线性可分性
微调迁移
全参数微调
评估迁移上限
最近邻
k-NN 检索
无需训练,直接评估
t-SNE
降维可视化
直观观察聚类结构
ImageNet 线性探测
84.2% (MAE)
ViT-Large 表征质量
微调迁移
88.6% (MAE)
全微调后准确率
k-NN Top-1
79.1% (DINO)
无分类器检索
06
SSL 架构对比
三种主流架构：编码器-解码器（MAE）、仅编码器（DINO）、双编码器（CLIP）。切换架构观察参数分配与适用场景。
编码器-解码器
MAE 式
编码可见,解码重建
仅编码器
DINO / MoCo
单塔,蒸馏或动量
双编码器
CLIP 式
双塔对齐不同模态
选择依据
任务 / 效率 / 模态
权衡表征质量与速度
参数效率
仅编码器 > 双塔
无解码器开销
推理速度
仅编码器最快
单次前向传播
07
多模态自监督学习
CLIP/ALIGN/ImageBind 跨模态对齐：各模态独立编码 → 投影到共享嵌入空间 → 跨模态对比学习。对齐模态观察嵌入空间收敛。
CLIP
图文对齐
4 亿图文对训练
ALIGN
大规模噪声对齐
18 亿噪声图文对
ImageBind
六模态绑定
图/文/音/深度/热/IMU
共享空间
统一嵌入维度
跨模态检索与生成
零样本能力
无需微调
直接跨模态检索
对齐质量
余弦相似度
模态间语义对齐
08
SSL 前沿趋势
四大前沿方向：缩放定律、数据效率、自监督+强化学习、未来方向。切换方向观察 SSL 演进路径与关键突破。
缩放定律
幂律增长
数据/算力/参数协同缩放
数据效率
少样本迁移
预训练表征降低标注需求
SSL + RL
表征驱动策略
自监督预训练强化学习
未来方向
统一表征模型
跨模态跨任务通用表征
关键突破
MAE 高效预训练
3x 训练速度提升
数据规模
10B+ 图像
超大规模自监督预训练