机制可解释性 (Mechanistic Interpretability)
机制可解释性 (Mech Interp) 是 AI 安全与对齐研究里的一支:试图 逆向工程 transformer 内部的"电路"——把模型看作可分解的计算图, 找到哪个 attention head / MLP 神经元在做什么具体任务。例如:
- "哪个头负责检测句子的开头?"
- "哪些 MLP 神经元在算 IOI(间接宾语识别)?"
- "模型内部是否有一个'拒绝响应'电路?"
目标是把"黑盒"变成"白盒"——知道模型为什么这么答,而不是只看答案。
与"可解释性"的区别
- 传统可解释性:SHAP / LIME / 特征重要性——给输入对输出的贡献打分
- 机制可解释性:直接打开模型内部电路——找到算法层面的计算单元
后者更激进:如果成功,可以真正理解模型"在想什么",而不只是"哪些 输入影响输出"。
代表工作
- Anthropic Transformer Circuits Thread (2021-):Chris Olah 团队 的系列长文,是 mech interp 的奠基
- Induction Heads (Olsen et al. 2022):小模型存在"复制前文 token" 的两阶段电路
- IOI Circuit (Wang et al. 2022):在 GPT-2 small 里精确定位到 15 个 attention head 一起完成"间接宾语识别"任务
- Superposition / Polysemanticity:单个神经元编码多个概念
- Dictionary Learning (SAE / Sparse Autoencoders):把激活分解到 大规模稀疏特征,是 2024-2025 的主流方法
- Attribution Patching / Causal Tracing:把电路因果定位
主流方法
探针 (Probing)
训练一个简单分类器看 hidden state 是否编码了某概念
Activation Patching
把"干净输入"激活替换到"破坏输入"上,看哪个激活变化是因果的
Circuit Discovery
用注意力图 + 路径搜索找出实现某任务的最小子图
Sparse Autoencoders (SAE)
- Anthropic 2023 推出
- 把高维激活分解到超大规模(百万级)的稀疏特征
- 每个特征对应人类可理解的概念
为什么重要
- AI 安全:知道模型什么时候"在骗人" / 什么时候"在隐藏意图"
- 对齐研究:deception / power-seeking 等行为的内部机制
- 模型调试:知道为什么模型答错 / 为什么有偏见
- 可信赖 AI:监管 / 医疗 / 法律场景需要"可解释"的决策
限制
- 只在小型模型成功:当前电路研究集中在 GPT-2 / Claude Haiku 这种 几亿参数的模型;前沿模型(GPT-4 / Claude Opus)太大太复杂
- 电路不完全稳定:fine-tune / RLHF 后电路会重排
- 缺乏统一理论:很多发现是"局部电路",没有"模型 = 电路集合" 的整体理论
- 计算成本高:做一次完整 circuit discovery 需要数千 GPU 小时