跳到主内容
智客 ZICQ

智客百科 AI 概念

上下文学习(In-Context Learning)

AI 概念
别名: In-Context Learning ICL 上下文学习 Few-Shot Learning 少样本学习 ·2026-11-18

上下文学习(In-Context Learning, ICL)是指大语言模型在不更新任何神经网络权重(Zero Gradient Updates)的前提下,仅凭输入上下文中提供的指令说明与少量「输入—输出示例」,在单次前向推理中实时推断任务规律并完成预测的能力。

该范式由 OpenAI 在 GPT-3(Brown et al., 2020) 论文中全面推广:模型权重完全冻结,仅通过提示词里不同的样本演示,就能在同一套参数上秒切翻译、分类、结构化抽取与推理等多种任务。

从 Zero-shot 到 Many-shot 的连续谱

形态 上下文构造方式 典型适用情形
Zero-shot 只给清晰任务指令,不提供示例 通用能力成熟的任务;对模型能力下限要求更高
One-shot / Few-shot 指令 + 1 到数十条输入输出示范 约定特定输出格式、冷启动专有名词分类与边缘规则
Many-shot ICL 利用超长上下文注入数百甚至上千条示例 长尾专有域、低资源语言映射或复杂风格迁移(配合 KV Cache 缓存更经济)
Dynamic / Retrieval ICL 用嵌入向量实时从历史库挑选最接近当前 Query 的 k 条示例拼入 Prompt 样本池很大、固定静态示范无法兼顾全部子类的生产系统

为什么「不改权重」也能学会新模式?

机制可解释性 与机器学习理论研究提出了三条互补解释:

  1. 诱导头(Induction Heads)与模式复制电路:Anthropic(Olsson et al., 2022)在 Transformer 电路研究中发现,双层及以上注意力网络在预训练中会涌现「若前文出现 [A][B],再次遇到 [A] 时倾向预测 [B]」的诱导头电路,构成了通用上下文模式匹配的基础构件;
  2. 隐式贝叶斯任务定位:Min 等人(2022)的研究发现,在不少简单分类任务中,随机打乱部分示例标签对性能影响往往小于预期——提示示例更像是帮模型检索并激活预训练早已学到的输入分布、标签空间与格式先验;
  3. 近似隐式梯度下降 / 前向激活编码:将新规律编码在隐状态与 KV Cache 激活向量(Task Vectors)里指导当前生成的 token 分布。

工程实践要点与局限

  • 示例选择与顺序敏锐度:样本贴近度、边缘边界反例质量,甚至示例排列顺序(近期效应往往偏向最后一个示例的标签偏好)都会明显波动准确率;
  • 推理类任务的局限:对多步符号运算和长规划而言,单纯给终值对例效果有限,通常需将示例扩展为带逐步推导的 思维链 示范,或配合 上下文工程 提供验证工具;
  • 什么时候从 ICL 切向微调(SFT):当固定 Few-shot 提示超过数千 Token 且调用量巨大、或者输入与领域术语脱离预训练分布太远时,把长期稳定的示例蒸馏进 SFT 权重或结合 RAG 动态抽取往往更划算。

进一步阅读

  • Brown et al. (2020), Language Models are Few-Shot Learners(GPT-3 原论文):https://arxiv.org/abs/2005.14165
  • Min et al. (2022), Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?:https://arxiv.org/abs/2202.12837
  • Olsson et al. / Anthropic (2022), In-context Learning and Induction Heads:https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html