arXiv研究揭示语言模型对孟加拉成语字面义偏好的系统性偏差

摘要：arXiv发布的一项新研究探讨了决策模型在处理孟加拉成语时的字面义偏好问题。研究通过专家标注的孟加拉成语数据集，对三种不同类型的决策模型（编码器评分器、解码器评分器及闭源API）进行测试，发现当将成语的字面解释加入选项列表时，模型会显著偏向字面解释，导致错误率大幅上升。研究还指出，不同语言对模型的影响存在显著差异，孟加拉语中的字面义偏好问题比英语更严重。此外，模型校准性能在所有测试中均出现下降，置信度反转现象普遍存在，表明现有模型在处理复杂语言现象时存在系统性缺陷。

---

研究背景与动机

决策模型作为分类器、路由器和防护栏被广泛应用，因其仅输出概率而不生成文本，无法应用传统的解释链或推理链方法。本研究旨在评估这些模型在处理复杂语言现象（如成语）时的表现，特别是其对字面义的偏好问题。

研究方法

研究团队使用专家标注的孟加拉成语数据集，对三种决策模型进行了测试：

1. 编码器评分器：基于Transformer架构的编码器模型。
2. 解码器评分器：基于Transformer架构的解码器模型。
3. 闭源API：一个商业化的决策模型API。

测试方法包括在选项列表中加入成语的字面解释，观察模型输出的变化。

主要发现

1. 字面义偏好：将成语的字面解释加入选项列表后，所有模型的输出均显著偏向字面解释，导致孟加拉语错误率大幅上升（65%-96%）。
2. 语言依赖性：孟加拉语中的字面义偏好问题比英语更严重，模型在孟加拉语中的表现比在英语中差1.9到6.4倍。
3. 校准性能下降：所有模型的校准性能均出现下降，置信度反转现象普遍存在，表明模型在处理复杂语言现象时存在系统性缺陷。

工程权衡与挑战

1. 模型架构的局限性：现有决策模型主要基于Transformer架构，缺乏对复杂语言现象的深入理解，导致其容易受到字面义的影响。
2. 数据偏差问题：训练数据中可能存在对字面义的过度依赖，导致模型在测试中表现出类似的偏差。
3. 跨语言泛化能力不足：模型在不同语言上的表现差异较大，表明其跨语言泛化能力有待提升。

开发者建议

1. 增强模型对复杂语言现象的理解：在训练数据中加入更多成语、隐喻等复杂语言现象，并采用多任务学习等方法提升模型的理解能力。
2. 引入外部知识库：结合外部知识库（如成语词典）进行推理，以减少对字面义的依赖。
3. 改进校准方法：开发更先进的校准技术，以应对置信度反转问题，提升模型的可信度。

结论

本研究揭示了决策模型在处理孟加拉成语时的系统性偏差，强调了现有模型在处理复杂语言现象方面的不足，为未来的模型改进提供了重要参考。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-19)

—— 完 ——

主题标签： #决策模型 关注 #语言模型 关注 #孟加拉语 关注 #成语 关注 #模型校准 关注