思维链(Chain-of-Thought)
思维链(Chain-of-Thought, CoT) 是指引导大语言模型在给出最终答案之前,先显式生成一系列连贯的中间推理步骤的技术。自 Wei 等人(2022)系统提出以来,CoT 揭示了一个关键规律:让自回归模型“写下解题草稿”实质上是为每一步推理分配了额外的顺序计算(Test-time Compute),从而大幅减少数学、多步逻辑与符号推理中的跳步错误。
经典示例与原理
在 Wei 等人(2022)的经典测试题中:
“罗杰有 5 个网球。他又买了 2 罐网球,每罐有 3 个。他现在一共有多少个网球?”
- 直接作答(Standard Prompting):在仅展示直接答案的少样本示例中,模型往往无法在单步前向传播内完成“先乘后加”的隐式心算,容易给出错误结果(论文中基准模型在无 CoT 时误答为 27)。
- 思维链(CoT Prompting):在提示或示范中加入中间推导——“罗杰最初有 5 个球;2 罐每罐 3 个即 2×3=6 个;5+6=11,答案是 11”——模型得以将复杂问题分解为多个简单子步骤逐一算出正确答案。
核心变体与演进
- Zero-Shot CoT:无需人工编写示例,直接在提示词末尾加入“让我们一步步思考(Let's think step by step)”即可触发常规指令模型的分步推导。
- 自一致性(Self-Consistency, Wang et al., 2023):通过温度采样生成多条独立的推理路径,再对最终答案做多数投票,明显降低单次推理的偶然算错概率。
- ReAct(Yao et al., 2023):将内部文字推理(Thought)与外部工具动作(Action)及环境返回(Observation)交替串联,解决纯封闭 CoT 容易产生事实幻觉的问题(见 AI 智能体)。
- 思维树(Tree of Thoughts, ToT):允许模型同时展开多条分支思路、自我评估并在死胡同时回溯剪枝,适合规划与搜索类问题。
- 原生内化思考模型(Reasoning Models):通过 RLVR 与 GRPO 训练的模型不再依赖用户手动提示“请一步步思考”,而是自主在
<think>/ 思考区展开反思、回溯与验证。
局限与常见误区
- 忠实度(Faithfulness)未必等于真实因果:模型写出的推理解释有时只是对内部直觉答案的“事后合理化”,即使思维链看起来头头是道,中间逻辑仍可能与最终选择脱节。
- 延迟与 Token 成本倍增:长推理步骤会明显增加输出 Token 数量与响应等待时间。
- 对原生推理模型过度手写 CoT 模板可能适得其反:对于已自带思考模式的模型,通常只需清晰给出任务目标、约束与校验标准,由模型自行分配推理预算。
进一步阅读
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al., NeurIPS 2022) — 思维链奠基论文
- Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., ICLR 2023) — 多路径采样投票提升 CoT 稳健性
- ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., ICLR 2023) — 推理与工具行动协同框架
- Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al., NeurIPS 2023) — 分支搜索与回溯推理