上下文学习(In-Context Learning)是大语言模型的核心能力：模型无需参数更新，仅通过阅读上下文中的示例就能适应新任务。从零示例到多样例，示例数量直接影响模型的表现和稳定性。
归纳头(Induction Heads)是Transformer中实现上下文学习的核心电路。它通过两步操作完成模式学习：前缀匹配(在历史中找到与当前匹配的token序列)和复制补全(将匹配位置之后的token复制到当前位置)。
注意力机制是ICL的运算基础。示例以Key-Value对形式存储在上下文中，新查询通过Query-Key匹配检索相关信息并聚合Value，实现"示例驱动推理"。多头注意力让模型同时关注不同维度的模式。
ICL和微调是让模型适应新任务的两种主要范式。ICL无需梯度更新、即时适应但容量有限；微调精度高但成本大。LoRA等参数高效方法在两者间取得平衡。
示例选择决定ICL效果的上限。随机选择简单但不稳定；相似度选择(KNN)检索与查询最接近的示例；多样性选择覆盖不同模式；信息增益选择最大化示例对预测的贡献。
示例的排列顺序显著影响ICL表现。近因效应使最后出现的示例影响最大；不同顺序可能导致精度差异达10%以上；模板效应使格式一致的排列更稳定。
ICL的理论基础包括：隐式梯度下降视角(Transformer前向传播等价于一步梯度下降)、贝叶斯推断视角(从先验中推断任务)、线性回归ICL(证明Transformer能精确求解线性回归)。
ICL面临上下文长度限制、示例冲突、领域偏移等挑战。"Lost in the Middle"现象使中间位置信息被忽略。评估需关注准确率、校准度、鲁棒性等多维指标。