arXiv发布SWORD基准：揭示大语言模型跨语言事实错误拒绝中的隐藏不一致性

摘要：arXiv近日发布了一项名为SWORD（Systematic Wikidata-based Object-Relation Distortion）的新基准测试，用于评估大语言模型（LLM）在跨语言场景下对事实错误的拒绝能力。SWORD通过系统性地扰动Wikidata三元组，生成语法正确但事实错误的语句，涵盖八种广泛使用的语言。测试结果揭示了两个关键发现：一是模型在语义合理的扰动下表现优于随机无意义替换，表明其依赖的是统计模式而非真正的知识验证；二是模型在跨语言场景下对亚洲语言的事实错误检测能力显著下降，某些模型在处理扭曲语句时性能下降高达28个百分点（相对减少49%）。这些发现表明，现有多语言推理能力评估方法可能掩盖了模型在不同语言上的能力不对称性。

---

背景与动机

现代大语言模型（LLM）在多语言任务中表现出色，但现有的基准测试主要关注模型选择正确答案的能力，而忽略了其对事实错误的拒绝能力。为了更全面地评估LLM在跨语言场景下的事实理解能力，arXiv的研究团队提出了SWORD（Systematic Wikidata-based Object-Relation Distortion）基准测试。

SWORD基准测试方法

SWORD通过系统性地扰动Wikidata三元组，生成语法正确但事实错误的语句。这些扰动包括随机实体替换和基于语义的属性选择，涵盖了八种广泛使用的语言。

主要发现

1. 语义依赖性：模型在语义合理的扰动下表现优于随机无意义替换，表明其依赖的是统计模式而非真正的知识验证。
2. 跨语言性能差异：模型在处理亚洲语言（如中文、日语、韩语等）的扭曲语句时，性能显著下降，某些模型在跨语言场景下的性能差距达到28个百分点（相对减少49%）。

行业影响

这些发现表明，现有多语言推理能力评估方法可能掩盖了模型在不同语言上的能力不对称性。SWORD基准测试为LLM的多语言能力评估提供了新的视角，有助于推动更公平、更全面的模型评估标准。

对开发者的建议

• 多语言数据增强：在训练数据中加入更多亚洲语言和低资源语言的数据，以提升模型在跨语言场景下的事实理解能力。
• 事实验证机制：在模型推理过程中引入更严格的事实验证机制，避免过度依赖统计模式。
• 跨语言评估：在模型评估中增加跨语言场景的测试，确保模型在不同语言上的表现一致。

技术亮点

• 系统化的扰动方法：SWORD通过可控的Wikidata三元组扰动，生成多样化的错误语句，确保测试的全面性和准确性。
• 多语言覆盖：涵盖八种广泛使用的语言，提供了跨语言场景下的评估基准。

结论

SWORD基准测试为LLM的多语言能力评估提供了新的工具和方法，揭示了现有模型在跨语言事实理解中的不足，为未来的研究和技术改进指明了方向。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-09-10)

—— 完 ——

主题标签： #大语言模型 关注 #多语言评估 关注 #Wikidata 关注 #基准测试 关注 #跨语言推理 关注