Gemma 3内部可解码空间图，但推理链未真正读取

摘要：一项独立预注册研究在 Gemma 3 的 12B 与 27B 模型中发现，线性探针可以从隐藏状态中恢复文本描述对象的二维坐标，跨句组合位置也达到 R²=0.74。然而，消融该方向与随机方向效果相当，表明模型答案并未因果读取这套空间表征。模型另以逐句二维编码（DAS）充当关系选择开关；直接读取未使用的空间图，在链式空间问题上取得 80% 准确率，高于模型自身的 73%。这说明模型可能同时保存可利用信息与另走捷径的决策路径，线性可解码性不能直接等同于实际推理机制。

---

研究结论：模型“拥有”空间信息，不代表它“使用”空间信息

这项针对 Gemma 3 12B 与 27B 的独立预注册实验发现，模型的隐藏状态中存在可由线性探针恢复的二维空间结构。研究者输入类似“A 位于 B 以北 3 格、C 位于 A 以东 2 格”的纯文本关系描述，随后从不同层的 token 表示中探测每个对象的坐标。

即便是需要合并两句关系才能确定的位置，探针仍达到 R²=0.74，说明模型没有把空间布局完全打散成无法组合的符号串。更有趣的是，消融探针识别的空间方向，其效果并不优于消融随机方向；同时，模型自身的答案在因果干预后几乎没有变化。换言之，模型内部确实存在一张可解码的“空间地图”，但它并非生成答案时所依赖的那条计算通路。

这是机制可解释性中的关键区别：线性可解码只证明信息存在，不能证明信息被使用。

两套并行表征：空间地图与逐句开关

研究还发现，Gemma 3 对每句话使用一种二维编码。论文将其称为 DAS。消融实验显示，该编码方向可以被高准确率解码：12B 与 27B 模型分别达到 72% 和 83%，随机方向基线为 0%。

但 DAS 不像可用于计算坐标的连续空间轴，更像一个状态开关。模型可以利用它判断当前句应执行哪一种空间关系操作，再通过另一条尚未完全厘清的路径维护对象状态。DAS 因此更像关系路由信号，而不是最终答案直接读取的坐标表。

整体上，Gemma 3 至少呈现出两套功能不同但可能相互配合的机制：

• 全局空间表征：可从隐藏状态线性恢复对象坐标，但生成答案时可能未读取；
• 逐句二维编码：能够控制关系操作，却不直接编码全局几何位置。

因果干预为何比探针更重要

线性探针通常是在训练后用回归模型拟合隐藏变量，例如从激活向量预测对象坐标。如果拟合得到较高 R²，只能说明目标变量在表征空间中存在较容易恢复的投影。

研究进一步对探针方向实施消融：如果模型答案依赖该方向，移除它应导致空间答案准确率显著下降。实际结果却没有超过随机方向基线。这使“空间地图没有参与最终回答”的判断比单纯相关性更有说服力。

不过，该结论仍有边界。研究摘要没有展示全部消融层、探针训练与测试切分、坐标归一化方式、统计显著性及不同随机种子的结果。“模型不读取地图”更严谨的表述应是：在当前任务、干预方法和测量粒度下，生成答案对所恢复空间方向不敏感。

为什么从内部地图读答案更准

研究者直接利用探针恢复出的坐标计算链式问题答案，准确率达到 80%，高于 Gemma 3 自身的 73%。这意味着至少在部分错误样本中，模型已经保存了足够构建正确空间解的信息，却采用了更直接但更脆弱的内部启发式路径。

一个可能解释是，模型在逐句处理中通过 DAS 选择“向北”“向东”等关系操作，并使用某种局部状态更新规则维持答案。此路径在简单关系上足够高效，但在多跳组合、对象索引或干扰项增加时，更容易发生状态绑定错误。相比之下，外部符号执行器将坐标更新与自然语言生成分离，减少了长链计算中的误差累积。

这项结果并不能证明所有模型都采用同一机制，也不能推出“抽取隐藏状态即可稳定提升能力”。如果探针依赖专用提示、答案格式或特定层，部署成本和泛化范围都需要重新评估。

评测局限与工程含义

实验对象包括 Gemma 3 的 12B 与 27B 版本，并覆盖 12B/27B 探针结果，但摘要未完整披露：

• 数据生成规模、任务分布和训练/测试样本数；
• R² 的置信区间及多随机种子稳定性；
• 坐标单位、坐标系是否固定，以及关系与距离是否存在歧义；
• 消融干预对非空间问答、通用能力和长文本任务的副作用；
• 模型规模增加是否让 DAS 机制更清晰，或只是提高探针可恢复性。

此外，R²=0.74 并不等同于人类意义上的空间理解。它可能部分来自句法位置、对象顺序或模板泄漏。因此，后续复现应使用未见关系组合、随机对象名称、不同表述模板和坐标置换测试，检查探针是否真正学习到可泛化的几何结构。

开发者落地建议

对研究团队而言，这项工作最直接的价值是提供了一种低成本诊断流程：先用线性探针寻找候选信息结构，再以定向消融验证因果作用，最后比较模型输出与外部解码结果。若探针可读、消融无影响、外部读取又更准，就应把模型视为“拥有信息但未有效使用”的系统，而不是简单地宣称其缺乏空间能力。

对于应用开发者，可尝试把 Gemma 3 作为关系识别器，而非空间求解器：让模型输出结构化关系或操作序列，再由确定性的二维坐标引擎执行合并、冲突检查和答案生成。这样能利用模型的语言理解能力，同时把多跳状态更新移出脆弱的 token 生成路径。

上线前至少应完成三项验证：

1. 在未见模板与未见关系组合上复测探针泛化；
2. 检查消融后通用能力、事实问答和格式遵循是否受损；
3. 对外部坐标执行器设置符号溢出、循环依赖和矛盾关系检测。

这项研究最重要的工程启示不是“Gemma 3 不会空间推理”，而是：模型内部存在可用信息，不代表模型当前输出路径正在消费它。 对复杂推理系统而言，显式外部化状态与计算，可能是利用已有表征、同时提高可验证性的低成本路径。

---

消息来源：Reddit r/MachineLearning (2026-11-12)

—— 完 ——

主题标签： #Gemma 3 关注 #机制可解释性 关注 #线性探针 关注 #空间推理 关注 #因果消融 关注