arXiv研究揭示Chatbot Arena中Luce选择公理失效现象

摘要：arXiv发布的一项研究探讨了Bradley-Terry模型在Chatbot Arena中的局限性，指出该模型基于Luce选择公理，假设模型评分能准确反映用户偏好。然而，研究发现，当模型版本、规模或所属实验室相近时，用户投票结果比Bradley-Terry模型预测的更加明确，显示出Luce公理的失效现象。研究通过分析180万次用户投票数据，提出了一个包含四到六个参数的修正模型，该模型在预测平局方面表现更优，但并未显著改变排行榜的总体排序。

---

研究背景与问题

Bradley-Terry模型是Chatbot Arena中用于对语言模型进行排名的主要方法，其核心假设是Luce选择公理，即用户的选择行为可以用一个统一的评分来解释。然而，这种方法忽略了模型之间的相似性对用户决策的影响。

研究方法与发现

研究团队分析了180万次用户投票数据，发现当模型版本、规模或所属实验室相近时，用户投票结果比Bradley-Terry模型预测的更加明确。具体来说：

• 模型版本间：用户投票结果比Bradley-Terry预测的明确1.37倍。
• 模型规模间：用户投票结果比Bradley-Terry预测的明确1.26倍。
• 同一实验室模型间：用户投票结果比Bradley-Terry预测的明确1.12倍。

此外，研究还发现，模型答案的措辞和格式的相似性也与这种效应相关。

修正模型与结果

研究提出了一种包含四到六个参数的修正模型，该模型在预测平局方面表现更优，但并未显著改变排行榜的总体排序。尽管修正模型在处理平局时表现更好，但在头对头比较中并未确立更优的胜率。

工程权衡与实际应用

• 优势：修正模型在处理相似模型时提供了更准确的预测，尤其在平局情况下表现突出。
• 劣势：该模型并未显著改变排行榜的总体排序，且计算复杂度较高，可能增加评估成本。

开发者建议

对于开发者而言，在使用Bradley-Terry模型进行模型评估时，应注意模型之间的相似性对用户决策的影响。如果模型之间存在高度相似性，建议采用修正模型以获得更准确的评估结果。此外，开发者还应关注模型答案的措辞和格式，以减少不必要的偏差。

结论

这项研究揭示了Bradley-Terry模型在处理相似模型时的局限性，并提出了相应的修正方法。尽管修正模型在某些方面表现更优，但其整体影响有限。未来研究可以进一步探索更复杂的模型评估方法，以更好地反映用户偏好。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-15)

—— 完 ——

主题标签： #Bradley-Terry模型 关注 #Chatbot Arena 关注 #Luce选择公理 关注 #模型评估 关注 #用户投票 关注