研究揭示：多语言基准测试中参考选择对评分结果的影响

摘要：ArXiv发布了一项关于多语言基准测试中参考选择对评分结果影响的研究。研究表明，即使系统输出固定，仅改变参考文本，评分结果也会发生显著变化。在六种语言的基准测试中，单个输出的评分变化最高可达7.55 F1分，而两种输出之间的比较得分变化也达到2.95分。研究指出，这种变化源于未记录的聚合默认设置，即在未触发裁决时通常保留一个注释者的标注，导致参考文本成为被评分输出的部分副本。研究呼吁在评分报告中加入参考敏感性指标，并提出了基于保留注释记录计算参考敏感性的方法。

---

研究背景与动机

在多语言基准测试中，评分系统通常将系统输出与参考文本进行比较。然而，现有研究主要关注系统输出，而对参考文本的选择及其对评分结果的影响缺乏深入探讨。本研究旨在填补这一空白，通过分析参考文本的变化如何影响评分结果，揭示基准测试中的潜在问题。

研究方法

研究使用了包含六种语言的基准测试数据，这些数据包含两种独立的注释者标注：一种是作为黄金标准的聚合标注，另一种是独立专家对样本重新标注的评审黄金标准。研究通过固定系统输出并交换参考文本，观察评分结果的变化。

主要发现

1. 评分变化显著：在六种语言的基准测试中，单个输出的评分变化最高可达7.55 F1分，而两种输出之间的比较得分变化也达到2.95分。
2. 参考敏感性：评分变化源于未记录的聚合默认设置，即在未触发裁决时通常保留一个注释者的标注，导致参考文本成为被评分输出的部分副本。
3. 参考敏感性指标：研究提出了基于保留注释记录计算参考敏感性的方法，并建议在评分报告中加入这一指标。

技术亮点

• 多语言基准测试的全面分析：研究涵盖了六种语言，提供了跨语言的参考敏感性数据。
• 创新的评分方法：通过固定系统输出并交换参考文本，研究揭示了评分过程中的关键影响因素。
• 参考敏感性指标：提出的指标为基准测试的评分可靠性提供了新的评估维度。

行业影响与建议

1. 基准测试改进：建议在基准测试中考虑参考文本的选择，并将其作为评分过程的一部分。
2. 评分报告透明化：评分报告中应包含参考敏感性指标，以便用户更好地理解评分结果的可靠性。
3. AI模型训练优化：AI模型训练应考虑参考文本的多样性，以提高模型在不同参考文本下的鲁棒性。

开发者建议

• 参考文本多样性：在模型训练和评估中，应使用多样化的参考文本，以提高模型的泛化能力。
• 评分指标扩展：除了传统的评分指标，还应关注参考敏感性指标，以全面评估模型性能。
• 数据注释质量：提高数据注释的质量和一致性，减少因注释者差异导致的评分偏差。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-06)

—— 完 ——

主题标签： #多语言基准测试 关注 #参考敏感性 关注 #AI评估 关注 #NLP 关注 #ArXiv 关注