贝叶斯探针揭示大模型算术几何：可解码不等于会计算

摘要：这项研究将线性探针中的“可解码性、形状、归属与因果使用”拆开，并以四阶段贝叶斯流程检验大模型的两位数加法与乘法。结果显示，GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 中几乎所有概念都可从激活中解码，但不同概念的方向大量重叠；1,330 个获得归属判断的单元中，仅19%的形状真正属于目标概念。低维形状干预仍保留约61%的完整探针效应，说明高探针准确率不足以证明模型“使用”了某种几何结构。

---

探针准确率为何不足以证明模型“会计算”

线性探针常被用来从大语言模型隐藏激活中恢复螺旋、圆环或环面，再据此声称模型内部“存在某种几何结构”。这项研究指出，这种做法把四个不同命题压缩成了一个准确率：

1. Decodability（可解码性）：目标概念能否由激活预测；
2. Shape（形状）：激活是否呈现预定的几何形态；
3. Ownership（归属）：该形态是否属于目标概念，而非相关概念；
4. Causal use（因果使用）：模型输出是否依赖该形态。

探针分类准确只能直接支持第一个命题。即使测试得到的轨迹在几何上拟合得非常漂亮，也不能自动排除替代概念共享同一方向，更不能证明输出计算依赖这条轨迹。

四阶段贝叶斯验证流程

研究将上述问题拆成四个阶段，而不是把线性分类器当作完整的机制识别器。

第一阶段检验可解码性。 线性探针从模型激活中预测算术概念，以确认目标信息确实可被读取。但这一阶段不提供任何关于内部表征几何的因果结论。

第二阶段比较候选形状。 候选几何包括普通螺旋、半径随数值变化的“带状螺旋”（ribbon）和环面等。只有当候选模型的贝叶斯证据通过预定义阈值时，才接受相应形状，避免把数据噪声拟合成复杂流形。

第三阶段检查形状归属。 研究预先指定一组相关概念，再从激活中移除这些概念可能贡献的方向，比较目标形状是否仍然成立。如果移除相关概念后几何结构随之瓦解，该形态更可能由其他概念继承，而不是目标概念自身拥有。

第四阶段执行因果干预。 直接改变已识别形状的低维坐标，观察模型输出是否随之变化。这一步把相关性的几何拟合推进到输出层面的功能检验。

这种设计比事后选取“看起来最漂亮”的流形更严格：形状选择、概念排除和干预检验彼此分离，使每个结论都能对应明确的证据来源。

算术内部表征高度共享

实验覆盖 GPT-J 6B、Llama 3.1 8B 与 Pythia 6.9B，对两位数加法和乘法中的多个概念进行探测。几乎所有概念都可以从激活中解码，但不同概念对应的解码方向存在显著重叠。

这意味着线性探针可能在同一激活子空间中同时读到多个相关算术量。一个针对“进位”获得高准确率的探针，并不自动意味着它读取了模型专用于进位的独立机制。

在证据较强的形状比较中，模型普遍选择带状螺旋或环面，而非简单固定半径的螺旋。对带状螺旋而言，数值可以同时映射到螺旋相位和半径变化；环面则允许两个方向分别承载相互关联的算术变量。这类参数化形式比单一圆或直线更能容纳算术任务的组合结构。

多数几何形态属于相关概念

在 1,330 个获得归属判断的实验单元中，只有 19% 的形状被判定为目标概念所有，另有 81% 被判定为继承所得。

更关键的是，拥有该形状与继承该形状，在导致模型输出变化时表现得几乎一样频繁。若模型输出确实依赖这条低维方向，那么“该方向归谁所有”就不能简单等同于“谁创造了这个方向”：目标概念和邻接概念可能共同使用一套高度纠缠的内部表示。

因此，归属分析的价值并不是给每个概念划出互不相交的神经区域，而是识别共享机制。研究者据此提出，探测结论应分别报告可解码性、形状、归属和因果使用，而不是只公布一个线性探针准确率。

低维干预保留大部分效应

对形状坐标进行干预，最多只需使用五维，便能保留完整探针干预约 61% 的输出效应；作为对照，完整探针所用维度的中位数为九。

这表明关键计算作用可能集中在少数几何坐标上，其余探针维度主要承载可解码但未被模型输出直接使用的成分。降低维度同时减少了干预空间，也使机制假设更具体：研究者可以检验某个相位或半径是否承担进位、借位或数值组合等功能。

不过，61%的效应保留率不等于模型完全依据该几何结构计算。干预可能同时影响多个共享概念，残差效应也可能来自旁路通路、非线性变换或未被选中的维度。几何解释仍需结合逐维消融、跨层追踪和任务输出校准。

评测局限与后续验证

研究结论仍受几个条件限制。首先，实验只覆盖三个开放权重模型以及两位数加法和乘法，不能直接外推到闭源前沿模型、符号推理、代码执行或长链数学任务。其次，线性探针本身仍是局部读出工具：它擅长发现可线性解码的信息，却可能遗漏需要非线性变换才能读取的结构。

此外，候选形状集合和阈值是在分析前确定的，但形状族未必穷尽真实流形；“归属”与“继承”的划分也取决于如何定义相关概念。对于高维激活流形，更稳健的后续研究应引入流形拓扑稳定性、跨随机种子复现、跨任务迁移以及基于激活修补的因果验证。

对机制研究的实践建议

研究者在设计探针实验时，应避免再以一个测试准确率作为“发现内部算法”的终点。更可复用的报告方式包括：

• 分别给出可解码、形状、归属和因果使用四项结论；
• 明确候选几何、先验、证据阈值与相关概念集合；
• 在干预前固定评价指标，避免根据输出变化反向修改候选形状；
• 报告共享方向占比，而不只是单个探针的最大准确率；
• 用跨模型、跨任务和跨随机种子的结果检验机制是否稳定。

对工程团队而言，这项工作的直接价值是提醒我们：隐藏状态可被读出，不等于模型在用这种状态做决策。解释性诊断、模型编辑和安全审计同样需要把预测性能与因果作用分开，否则很容易把相关性包装成机制解释。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-11)

—— 完 ——

主题标签： #大模型可解释性 关注 #线性探针 关注 #贝叶斯流形 关注 #机制可解释性 关注 #算术推理 关注