研究揭示：语言模型与大脑对齐及跨语言迁移的评分可靠性存疑

摘要：ArXiv发布了一项关于语言模型与大脑对齐及跨语言迁移的研究，指出传统基于相似性评分的评估方法存在严重缺陷。研究发现，当语言结构不存在或测量工具失效时，评分结果并不可靠。例如，在跨语言迁移中，语法探测器的性能会随着语言距离的增加而下降，导致评分工具失效。此外，模型与大脑信号对齐的提升中，仅有少量提升可归因于大脑本身，而大部分提升可能是由于其他因素。研究呼吁在评估模型与大脑或跨语言结构对齐时，应更谨慎地解读评分结果，并探索更可靠的评估方法。

---

研究背景与动机

近年来，语言模型与大脑信号或跨语言结构的相似性评分常被用作评估模型性能和对齐程度的关键指标。然而，这些评分方法的有效性一直缺乏深入探讨。本研究旨在揭示这些评分方法在特定条件下的局限性，并提出改进建议。

主要发现

1. 跨语言迁移中的评分失效

   • 研究发现，训练用于区分语法正确与错误句子的探测模型在跨语言迁移中表现不佳，尤其是在语言距离较远的语言对中。
   • 在17种语言中，有4种语言的探测性能处于随机水平，导致272对语言对中有64对无法有效评分。
   • 排除这些语言对后，评分关系的强度减半，但这也意味着评分工具在语言距离较远的语言对中失效。

2. 模型与大脑对齐的评分问题

   • 将语言模型与人类大脑信号对齐的训练可以将相似性评分从0.10提升至0.34，但与目标上限0.54相比仍有差距。
   • 即使在目标与大脑信号对应关系被破坏的情况下，模型仍能获得0.31的评分，表明评分提升中仅有0.028至0.068可归因于大脑本身。
   • 在没有任何模型的情况下，破坏后的目标与真实目标之间的评分已达0.204，这表明评分结果受目标排序和句子数量影响较大。

3. 语言引导方向的评估

   • 在17种语言中有16种语言，沿着自身方向的引导比随机方向有效（平均提升6.2），但这种提升与语言距离无关。

结论与建议

本研究揭示了基于相似性评分的评估方法在语言模型与大脑对齐及跨语言迁移中的局限性。研究建议，在评估模型对齐程度时，应更谨慎地解读评分结果，并探索更可靠的评估方法，例如结合多模态数据、引入因果推理机制或开发新的评估指标。

对开发者的建议

• 谨慎使用评分指标：在评估模型与大脑或跨语言结构对齐时，应结合多种评估方法，避免过度依赖单一评分指标。
• 探索新评估方法：开发者可以尝试引入因果推理、多模态数据融合等新技术，以提升评估的可靠性。
• 关注模型鲁棒性：在跨语言迁移任务中，应关注模型的鲁棒性，并针对不同语言距离进行针对性优化。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-06)

—— 完 ——

主题标签： #语言模型 关注 #大脑对齐 关注 #跨语言迁移 关注 #评分可靠性 关注 #ArXiv 关注