研究揭示：双语预训练模型在共享语言表示中存在隐藏状态差异

摘要：一项由ArXiv发表的研究指出，尽管双语预训练模型在共享语言的词汇嵌入上表现出一致性，但其更深层的隐藏状态在预测任务中却存在显著差异。研究团队通过对比单语和双语模型在八种不同语种上的表现，发现这种差异源于上下文处理过程，而非输入表示的对齐问题。这一发现对依赖对齐模型的下游研究提出了挑战，强调了在跨语言任务中深入理解模型内部表示的重要性。

---

研究背景与动机

在多语言模型的研究中，研究人员通常假设共享语言的表示在经过对齐后是可比的。然而，这项研究质疑了这一假设，特别是对于仅解码器模型而言。

研究方法

研究团队预训练了八对参数为310M的模型（一对单语，一对双语），并控制了英语暴露量、总计算量和文档重叠度。通过对齐共享的英语词汇，研究人员测试了未见词汇的嵌入和隐藏状态。

主要发现

1. 词汇嵌入的一致性：在词汇嵌入层面，对齐后的模型表现出相似性。
2. 隐藏状态的差异：在更深层的隐藏状态中，模型用于预测的表示存在显著差异。这种差异在所有八种语言中均存在，并不受文档重叠和替代对齐方法的影响。
3. 差异的来源：隐藏状态的差异随着Transformer中层数的增加而增长，表明其源于上下文处理，而非输入表示的对齐。

行业影响与建议

1. 对下游研究的影响：依赖对齐模型的研究需要重新评估其方法论，因为词汇嵌入的对齐可能掩盖了模型内部表示的真实差异。
2. 跨语言任务中的注意事项：在跨语言迁移和零样本学习中，应更关注模型内部表示的一致性，而非仅依赖词汇嵌入的对齐。
3. 未来研究方向：探索新的对齐方法或模型架构，以减少隐藏状态的差异，并提升跨语言任务的性能。

技术亮点

• 多语言对比分析：通过八种不同语种的分析，验证了隐藏状态差异的普遍性。
• 严格的控制实验：控制了英语暴露量、总计算量和文档重叠度，确保了结果的可靠性。
• 创新的对齐评估方法：揭示了现有对齐方法在隐藏状态层面的局限性。

---

消息来源：ArXiv cs.CL (2026-08-27)

—— 完 ——

主题标签： #多语言模型 关注 #预训练 关注 #隐藏状态 关注 #跨语言迁移 关注 #对齐 关注