逐层逐模块拆解 Transformer 表征，发现更优探针入口

摘要：一项针对视觉基础模型与大语言模型的研究，系统评估超过14.4万次线性探针，发现仅按网络深度选择特征并不充分，模块类型与所在层必须联合考虑。最佳层—模块组合相较在最优层读取残差流可获得显著更高增益。研究进一步提出两种低成本固定策略：视觉模型使用末层前馈激活 Act@100，语言模型使用约60%深度的第二归一化层 LN2@60，平均可分别恢复最佳组合增益的42%和86%。

---

研究结论：Transformer 特征不能只用“第几层”描述

在 Transformer 基础模型上提取可解释特征时，常见做法是在最后一层残差流上训练一个线性探针。这项研究对视觉基础模型（VFM）和大语言模型（LLM）进行了超过 14.4 万次线性探针评估，发现这种默认配置并不总是最优：中间层可能包含更利于下游任务线性解码的特征，而同一个模块在不同深度的表现也可能显著变化。

因此，模型表征的搜索空间不应只写成“选择某一层”，而应写成“选择某一层中的某一模块”。在固定最优层时，仅将残差流替换为该层内更适合探测的模块，就能获得可观的性能提升；这意味着最终层并不是普遍最优的表示出口。

技术机制：把 Transformer 拆成可独立探测的入口

研究没有把每个 Transformer block 当作不可分割的原子单元，而是分别抽取不同内部状态，包括：

• 残差流（Residual Stream）：每一层输入与输出中持续传递的主干信息；
• 注意力输出：注意力模块对 token 或 patch 交互后的表示；
• 前馈网络激活：MLP 中的非线性变换结果，通常包含比纯残差流更强的任务特征；
• 归一化层状态：如 LN1、LN2 等不同归一化位置暴露的内部信号。

随后，研究在每个候选入口上训练线性分类器，并比较其在不同模型、数据集和迁移场景中的表现。这里“线性探针”很关键：探针本身保持线性，只负责从冻结表示中学习标签映射，因而性能差异更可能来自内部表征，而不是大量非线性参数带来的过拟合。

从表示学习角度看，残差流更像贯穿网络的共享总线：注意力与 MLP 会持续向其中写入信息，但它也会累积多种互相叠加的抽象。中间模块的激活则更接近某次特定计算的结果，可能对语义、几何、语法或任务相关特征形成更干净、更低维的编码。这解释了为什么“最优层上的最优模块”可以明显超过“最优层上的残差流”。

固定探针策略：无需逐模型穷举

完整搜索所有层—模块组合成本很高。论文因此测试了两种简单且固定的提取位置：

• 视觉模型 Act@100：使用末层前馈网络激活；
• 语言模型 LN2@60：使用模型约 60% 深度处的第二归一化层。

两种策略在多数评测中优于标准末层残差流探针。相较每个数据集都使用最优层—模块组合的上界，Act@100 平均恢复视觉任务增益的 42%，LN2@60 则恢复语言任务增益的 86%。这意味着少量超参数搜索，或直接采用跨任务较稳定的默认位置，就能以较低工程成本避免“只在最后一层看模型”的信息损失。

视觉结果还呈现出一个有工程意义的趋势：当预训练数据与下游任务之间的迁移难度增加时，固定探针带来的收益也随之扩大。这可能意味着分布差异越大，中间或特定模块保留的通用特征越重要，而末层残差流越容易偏向预训练分布本身。

评测解读：增益不等于因果解释

超过 14.4 万次评估为“层与模块需要联合搜索”提供了较强统计覆盖，但论文摘要没有披露全部实验细节，因此不能把结果直接等同于通用最优配置。

首先，线性探针性能同时受到表示质量、特征维度、线性优化器和训练数据规模影响。若某个模块激活维度更高，仅增加探针参数量也可能抬高性能；更严格的后续复现应加入维度匹配、探针容量控制或归一化基线。

其次，固定的 Act@100 和 LN2@60 是数据集或模型家族层面的经验策略，而非理论保证。它们可能随激活函数、残差预连接结构、归一化位置以及模型规模发生变化。实际使用时更稳妥的做法，是在少量验证集上联合搜索层和模块，再与固定策略比较。

最后，探针可预测性不等于模型在该层真正以该机制执行任务。线性探针可能利用了与标签相关但并非因果决策变量的特征。因而，这项研究更适合指导表征提取、诊断和轻量任务适配，而不是据此声称找到了模型内部“真正推理”的层。

开发者落地建议

对需要访问基础模型内部状态的研究者与工程师，可以采用以下流程：

1. 优先扫描模块，而非只扫描层。 至少覆盖残差流、注意力输出、MLP 激活和不同归一化位置。
2. 控制探针容量。 对不同模块执行维度归一化、线性探针参数匹配和交叉验证，避免把更大的激活维度误判为更好的表征。
3. 优先尝试低成本固定点。 视觉任务可从 Act@100 开始，语言任务可从 LN2@60 开始，再根据模型架构微调。
4. 为推理部署单独评估。 抽取中间层通常需要前向执行到较深位置，并增加 hook 管理和显存占用；若任务允许，可截断后续计算或使用模型前向缓存。
5. 把探针结果用于模型诊断。 比较不同层—模块组合在分布内、分布外和迁移任务上的差异，可以定位模型对语义、空间或结构信息的编码位置。

总体而言，这项工作的价值不在于提出新的基础模型，而在于修正一个常见但成本高昂的实验习惯：Transformer 内部特征应被理解为“层与模块的二维索引空间”，而不是单一的深度轴。对可解释性研究、线性评估、特征提取和轻量适配而言，这会直接改变探针设计与模型诊断方式。

---

消息来源：Hugging Face Daily Papers (2026-11-08)

—— 完 ——

主题标签： #Transformer 关注 #线性探针 关注 #内部表征 关注 #可解释性 关注 #基础模型 关注