Grokking 现象与延迟泛化 · 可视化实验室
ICML 2026 荣誉提名论文《To Grok Grokking: Provable Grokking in Ridge Regression》首次为 grokking 现象给出全局收敛证明。本实验室通过八个交互式 SVG 模块，全景解析模型在长时间过拟合后突然泛化的相变机制——从训练曲线突变、双下降、隐式正则化、数据效率，到 Ridge 回归可证明理论、记忆-泛化相变与算法学习应用。
Grokking 全景
Grokking 指模型在长时间过拟合（训练损失极低、测试损失高位）后，测试损失突然急剧下降、实现泛化的相变现象。下方可切换“现象概述”与“发现历程”两种视图。
训练 vs 测试曲线
核心可视化：训练损失在数十步内迅速降至近零（过拟合），而测试损失长时间停留在高位，直到某临界步数后才“骤降”——这就是 grokking。拖动训练步数滑块，实时观察当前状态与所处阶段。
双下降现象
模型规模增大时，测试误差先降后升（过拟合峰），到达插值阈值后又二次下降——即双下降（Double Descent）。它与 grokking 共享同一根源：过参数化 + 隐式偏好最小范数解。拖动模型规模滑块观察误差变化。
隐式正则化
权重衰减、Dropout、早停等正则化手段通过抑制权重范数增长，引导模型从“记忆”转向“最小范数泛化解”，从而加速甚至决定 grokking 的发生。调节正则化强度，观察权重范数演化曲线。
数据效率与 Grokking
Grokking 并非在任意数据量下都会发生：存在一个临界数据比例，仅当训练数据占比超过该阈值时，模型才能从记忆相跃迁至泛化相。调节数据比例滑块，观察最终测试损失与 grokking 是否发生。
Ridge 回归可证明 Grokking
ICML 2026 荣誉提名论文《To Grok Grokking》首次在 Ridge 回归中给出 grokking 的全局收敛证明：损失景观存在快收敛方向（大特征值，记忆训练数据）与慢收敛方向（小特征值，编码最小范数泛化解），慢模式最终收敛即 grokking。调节 λ 观察特征谱与收敛过程。
记忆 vs 泛化相变
Grokking 的本质是从“记忆相”（高复杂度、拟合训练点）到“泛化相”（低有效复杂度、最小范数结构）的相变。下方相图展示模型在训练过程中的轨迹穿越两相边界，切换视图观察特征学习如何从杂乱走向结构化。
应用与未来方向
Grokking 最早在算法学习任务（模运算、群论）中被发现，现已扩展至电路发现、合成数据可学习性、推理涌现等领域。点击任务卡片切换，查看各任务中 grokking 的表现与意义。