视觉语言模型为何偏爱文本？嵌入层信息密度揭示模态鸿沟

摘要：这项研究把视觉语言模型的“模态鸿沟”追踪到嵌入层：文本 Token 的初始语义密度显著低于视觉 Token，促使网络在早期层优先处理文本表示，之后才与视觉信息融合。研究通过机制分析发现，将视觉 Token 替换为语义最接近的文本 Token 后，早期层会提高对这些位置的注意力。该工作为定位多模态推理中的信息处理失衡提供了可检验路径，但摘要尚未披露模型范围、量化指标、训练成本及改进效果。

---

模态鸿沟并非只发生在跨模态融合阶段

视觉语言模型（Vision-Language Model，VLM）往往能在图像描述、视觉问答等任务上工作，却可能在需要同时利用文字指令与细粒度视觉证据时表现不稳定。已有解释通常把问题归因于投影模块不匹配、模态训练数据不平衡或融合层结构，但这篇《Process then Retrieve》研究把视线前移到了输入嵌入层：差异可能并非源于模型“不愿意看图”，而是不同模态的 Token 在进入 Transformer 前就携带了不对称的语义信息。

论文的核心发现是，文本 Token 的初始语义密度明显低于视觉 Token。对标准自回归 Transformer 而言，输入序列经过嵌入与位置编码后形成矩阵 (X_0 \in \mathbb{R}^{N \times d})，各层注意力通过 (\mathrm{softmax}(QK^\top/\sqrt{d})V) 聚合信息。早期层必须先决定应把计算预算用于哪些表示；如果视觉 Token 已经形成高密度的局部特征，而文本 Token 仍主要由词法、句法或通用语义构成，前几层自然可能先“读懂”文字，再处理视觉内容。

这一区别很关键：所谓模态鸿沟并不只是“视觉分支和语言分支没有对齐”，也可能是两种模态进入网络时携带的有效信息量不同。模型在融合阶段无法凭注意力机制自动恢复输入端根本没有提供的视觉细节。

从相关性到机制性证据

研究采用了两层证据链。第一层是表征测量：比较文本与视觉 Token 在嵌入层的语义密度，观察这种差异能否解释早期层的注意力分配。第二层是干预实验：把若干视觉 Token 位置替换为语义上最接近的文本 Token 对应物，再检查网络早期层是否将更多注意力分配到这些位置。

如果单纯因为“原视觉 Token 更重要”而拒绝注意力，那么即使位置上的内容被换成文本表示，注意力权重也不应明显改变。实验却观察到相反结果：替换后的位置获得更多早期层注意力。这支持了论文的核心假设——早期层对视觉位置的处理强弱，部分取决于该位置承载的语义信息密度，而不只是位置标识或模态来源本身。

这也解释了标题中的“Process then Retrieve”：模型倾向于先处理较易处理、较密集的文本表示，再从联合上下文中检索与视觉问题相关的证据。所谓“检索”不是传统检索系统，而是 Transformer 通过注意力把其他位置的信息聚合到当前计算路径中的过程。

工程取舍：解释力强，但距离可部署方案仍有距离

这项工作的直接工程价值，是帮助研究者判断多模态失败究竟发生在哪一层。如果问题主要源于初始语义密度不匹配，那么扩大参数量、增加融合层或堆叠更多训练数据，未必能根治问题。更合理的候选干预包括：

• 对不同模态分别归一化嵌入尺度或统计量，避免视觉表示天然占据更高信息量；
• 为文本分支增加条件化编码，使指令在进入主干前就携带任务相关视觉检索线索；
• 对视觉 Token 采用更能保留局部细节的编码方式，减少早期层必须先“解码”视觉表示的成本；
• 在训练中加入模态交换、Token 替换和注意力平衡目标，提高跨模态证据整合能力。

但这些方案的代价并不相同。嵌入重标定实现简单，却可能抹掉模态间真实的信息容量差异；条件化编码更接近论文机制，但需要额外训练数据与算力，并可能放大标注偏差；直接提高视觉 Token 数量可以保留细节，却会按照近似二次复杂度推高注意力成本。对于高分辨率图像，这一代价尤其明显：若视觉 Token 从 256 增至 1024，标准注意力的注意力矩阵规模约从 (256^2) 增至 (1024^2)，即扩大约 16 倍。

因此，“让文本与视觉 Token 的语义密度更接近”不应被简单实现为粗暴的数值缩放。更合理的问题是：哪些视觉特征需要在输入阶段被编码，哪些信息应由后续注意力按任务动态检索。

评测应如何验证“模态鸿沟被缓解”

当前摘要没有给出具体模型、数据集、注意力指标或下游准确率，因此不能据此断言模型能力已经提升。后续验证至少应覆盖四类证据：

1. 嵌入层统计：报告文本与视觉 Token 的语义密度指标，并说明其对投影维度、归一化和视觉 Patch 大小的敏感性。
2. 层级因果干预：除 Token 替换外，还应控制输入数量、位置编码和表示范数，避免注意力变化被序列长度或数值尺度混杂。
3. 任务分解：分别测试文字先行、视觉先行和双向依赖任务，确认改进不是只让模型更偏向某一种提示模板。
4. 成本与泛化：同时报告吞吐、显存、训练成本以及跨数据域表现。若提升来自更多 Token 或更大骨干，就不能把它归因于消除模态鸿沟本身。

尤其需要警惕把注意力权重直接等同于因果解释。注意力可作为诊断信号，但不能单独证明信息流；更可信的证据应结合激活替换、路径 patching、残差流干预与输出行为变化。

开发者应如何利用这项发现

对正在训练或微调 VLM 的团队，这项研究首先提供的是诊断框架，而不是现成配方。训练前后可以比较文本与视觉 Token 在浅层中的激活范数、局部语义聚集程度和跨模态检索延迟，定位模型是否过度依赖文本捷径。如果模型在图像证据不可见时仍能凭问题措辞给出高置信度答案，也可用反事实图像替换和视觉 Token 干预检查答案是否真正依赖视觉内容。

工程上，建议保留现有模型作为基线，优先测试低成本的表示校准与数据混合策略；只有在明确证明浅层模态失衡与下游错误相关后，再投入额外视觉 Token、专用跨模态编码器或大规模训练。这样既能降低试错成本，也能避免把任何多模态提升都误归因于“语义密度”这一单一机制。

总体而言，这项工作把 VLM 模态鸿沟从现象描述推进到可干预的内部机制：问题可能不在模型最终是否学会融合，而在输入端不同模态是否以足够均衡的信息密度进入计算图。但要把它转化为成熟的多模态训练规范，仍需更多模型、任务和独立复现来验证因果边界与工程收益。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-10)

—— 完 ——

主题标签： #视觉语言模型 关注 #模态鸿沟 关注 #注意力分析 关注 #Token语义密度 关注 #机制可解释性 关注