← 返回 TW Hub

元学习与学会学习可视化实验室

M1 · 元学习全景

元学习的三大范式——基于优化、基于度量、基于模型。核心目标是"学会如何学习":从一组任务分布中提取可迁移的元知识,使其在新任务上只需少量数据和几步更新即可快速适应。

M2 · MAML 算法

模型不可知元学习(Model-Agnostic Meta-Learning)。通过二阶梯度在任务分布上寻找一个好的初始化参数 θ,使模型对任意新任务仅需 1~5 步梯度下降即可快速适应。适用于任何基于梯度的模型。

M3 · 度量学习

孪生网络、匹配网络、原型网络——学习一个好的特征空间用于少样本分类。核心思路:不更新参数,而是学一个相似度度量,通过比较查询样本与支持集样本的距离完成分类。

M4 · 元强化学习

Meta-RL 让智能体学会快速适应新的 MDP(马尔可夫决策过程)。从任务分布中学习元策略,智能体通过与环境交互的历史隐式推断当前任务,从而在新任务上快速调整行为。

M5 · 快速适应机制

从几百样本到几个样本,元学习如何实现极速适应。元学习模型在新任务的前几步梯度更新中,损失就能快速下降到很低水平,而标准学习需要大量样本和迭代才能收敛。

M6 · 元学习与预训练

元学习 vs 迁移学习 vs 预训练-微调,三种范式的联系与区别。三者都利用源任务知识帮助目标任务,但在知识形式、适应方式、目标函数上有本质差异。

M7 · 元学习架构搜索

用元学习自动搜索最优网络架构(NAS)。One-Shot NAS 与 DARTS 将架构搜索转化为超网权重的连续优化,用梯度下降代替离散搜索,大幅降低搜索成本。

M8 · 少样本学习

1-shot 和 5-shot 学习,元学习在极端数据稀缺场景的应用。N-way K-shot 任务设置:N 个类别各 K 个支持样本,模型需对查询样本正确分类。元学习是实现少样本学习的主流范式。