测试时训练(Test-Time Training, TTT)是一种在推理阶段利用自监督任务更新模型参数的范式。模型首先在大规模数据上预训练，然后在每个测试样本上通过自监督损失进行快速适应，最终用更新后的模型完成预测。核心思想：将隐藏状态建模为可学习的模型，测试时通过自监督梯度更新该模型。
自监督任务是TTT的核心驱动力。旋转预测将图像旋转0/90/180/270度并预测角度；掩码预测遮蔽图像块并重建；对比学习拉近正样本对、推远负样本对。这些任务无需标签，可在测试时即时构建，为模型适应提供梯度信号。
TTT-Linear将Transformer的隐藏状态本身建模为一个线性模型。输入token的键作为特征、值作为标签，通过测试时梯度下降更新线性模型的权重，再用更新后的权重对查询进行预测。这种设计让隐藏状态既是存储又是计算单元。
TTT-MLP将隐藏状态扩展为两层MLP，相比线性模型具有更强的表达能力。前向传播通过隐藏层非线性变换，反向传播通过链式法则计算梯度并更新参数。MLP结构能拟合更复杂的输入-输出映射，在需要高容量适应的任务中表现更优。
分布偏移是TTT要解决的核心问题。损坏偏移(Corruption)如噪声、模糊、天气干扰；域偏移(Domain Shift)如真实照片到素描、白天到黑夜；自然偏移(Natural Shift)如风格变化、长尾分布。TTT通过测试时适应来缓解这些偏移带来的性能下降。
TTT的快速适应能力是其关键优势。单步适应仅需一次梯度更新即可调整模型；多步适应通过迭代优化获得更好效果。与全量微调相比，TTT仅需极少量计算即可在测试时完成适应，适应速度远快于传统微调方法。
TTT与其他参数适应方法各有优劣。与ICL相比，TTT通过梯度更新获得更强适应能力但计算成本略高；与全量微调相比，TTT计算高效但适应范围有限；与Adapter相比，TTT无需额外模块但表达能力取决于隐藏状态容量。
TTT在多种实际场景中发挥重要作用。鲁棒视觉：应对图像损坏和对抗扰动；医学影像：跨设备、跨模态的快速适应；自动驾驶：应对天气和光照变化；边缘部署：在资源受限设备上实现高效适应。TTT让模型在部署时持续进化。