跳到主内容
智客 ZICQ

智客百科 AI 概念

机制可解释性 (Mechanistic Interpretability)

AI 概念
别名: Mechanistic Interpretability 机制可解释性 Interpretability 模型可解释性 ·2026-09-19

机制可解释性 (Mechanistic Interpretability)

机制可解释性 (Mech Interp) 是 AI 安全与对齐研究里的一支:试图 逆向工程 transformer 内部的"电路"——把模型看作可分解的计算图, 找到哪个 attention head / MLP 神经元在做什么具体任务。例如:

  • "哪个头负责检测句子的开头?"
  • "哪些 MLP 神经元在算 IOI(间接宾语识别)?"
  • "模型内部是否有一个'拒绝响应'电路?"

目标是把"黑盒"变成"白盒"——知道模型为什么这么答,而不是只看答案。

与"可解释性"的区别

  • 传统可解释性:SHAP / LIME / 特征重要性——给输入对输出的贡献打分
  • 机制可解释性:直接打开模型内部电路——找到算法层面的计算单元

后者更激进:如果成功,可以真正理解模型"在想什么",而不只是"哪些 输入影响输出"。

代表工作

  • Anthropic Transformer Circuits Thread (2021-):Chris Olah 团队 的系列长文,是 mech interp 的奠基
  • Induction Heads (Olsen et al. 2022):小模型存在"复制前文 token" 的两阶段电路
  • IOI Circuit (Wang et al. 2022):在 GPT-2 small 里精确定位到 15 个 attention head 一起完成"间接宾语识别"任务
  • Superposition / Polysemanticity:单个神经元编码多个概念
  • Dictionary Learning (SAE / Sparse Autoencoders):把激活分解到 大规模稀疏特征,是 2024-2025 的主流方法
  • Attribution Patching / Causal Tracing:把电路因果定位

主流方法

探针 (Probing)

训练一个简单分类器看 hidden state 是否编码了某概念

Activation Patching

把"干净输入"激活替换到"破坏输入"上,看哪个激活变化是因果的

Circuit Discovery

用注意力图 + 路径搜索找出实现某任务的最小子图

Sparse Autoencoders (SAE)

  • Anthropic 2023 推出
  • 把高维激活分解到超大规模(百万级)的稀疏特征
  • 每个特征对应人类可理解的概念

为什么重要

  • AI 安全:知道模型什么时候"在骗人" / 什么时候"在隐藏意图"
  • 对齐研究:deception / power-seeking 等行为的内部机制
  • 模型调试:知道为什么模型答错 / 为什么有偏见
  • 可信赖 AI:监管 / 医疗 / 法律场景需要"可解释"的决策

限制

  • 只在小型模型成功:当前电路研究集中在 GPT-2 / Claude Haiku 这种 几亿参数的模型;前沿模型(GPT-4 / Claude Opus)太大太复杂
  • 电路不完全稳定:fine-tune / RLHF 后电路会重排
  • 缺乏统一理论:很多发现是"局部电路",没有"模型 = 电路集合" 的整体理论
  • 计算成本高:做一次完整 circuit discovery 需要数千 GPU 小时