arXiv提出MOSAIC：革新跨模态训练样本归因技术，提升视觉语言模型解释性

摘要：arXiv发布了一种名为MOSAIC的新方法，用于跨模态训练样本归因，旨在提升视觉语言模型（VLM）的解释性。MOSAIC通过学习稀疏的图像-文本潜在空间，并结合EK-FAC算法，将训练样本的影响分解为具体的文本短语和图像区域，从而实现更精准的归因。实验表明，MOSAIC在多个任务中表现优异，显著提升了模型输出对训练数据的依赖性解释能力，同时保持了任务性能。该研究为多模态模型的解释性和训练数据归因提供了新的技术路径。

---

技术机制剖析

MOSAIC（Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization）通过以下步骤实现跨模态训练样本归因：

1. 稀疏潜在空间学习：MOSAIC学习一个共享的稀疏图像-文本潜在空间，其概念在每个模态内是稀疏的，并支持在连续的图像区域上，同时与描述它们的短语对齐，且近似不相关。

2. EK-FAC算法应用：利用EK-FAC算法将训练样本的影响通过这些概念进行分解，并将其贡献定位到特定的文本短语和图像区域。

3. 归因与解释性提升：通过这种分解，MOSAIC能够更精准地解释模型行为，并量化不同训练样本对模型输出的影响。

工程权衡与实测表现

• 优势：

  • 实现了更细粒度的归因，将影响定位到具体的文本短语和图像区域。
  • 在多个任务中（如字幕生成、胸部理解、视觉问答）表现稳定，未对任务性能造成负面影响。
  • 归因结果更具解释性，消融实验表明，基于MOSAIC的归因比基于激活或频率的归因更能改变模型输出。

• 挑战：

  • 计算复杂度较高，需要在训练过程中引入额外的计算开销。
  • 对多模态数据的对齐质量要求较高，不完美的对齐可能导致归因结果偏差。

开发者落地与部署建议

• 应用场景：

  • 适用于需要高解释性的多模态模型应用场景，如医疗诊断、自动驾驶和智能客服等。

• 部署建议：

  • 在资源充足的环境下部署，以应对额外的计算开销。
  • 结合其他归因方法（如基于梯度的归因）进行交叉验证，以提升归因结果的可靠性。

• 未来展望：

  • 未来研究可进一步优化MOSAIC的计算效率，并探索其在其他类型的多模态数据（如视频、音频）上的应用。

结论

MOSAIC为跨模态训练样本归因提供了新的思路，通过更精准的归因和更高的解释性，提升了视觉语言模型的透明度和可靠性。

---

消息来源：ArXiv AI (cs.AI) (2026-10-15)

—— 完 ——

主题标签： #MOSAIC 关注 #跨模态 关注 #训练归因 关注 #视觉语言模型 关注 #arXiv 关注