大模型竞技场排名可被操纵：三类攻击最高抬升45位
摘要：一项针对开放式大模型竞技场排行榜的研究表明，采用 Bradley-Terry 模型聚合匿名模型两两投票的机制，可被战略投票、提示选择和模型提名三类策略操纵。攻击者既能提交偏向目标模型的提示，也能加入无关模型改变胜负关系，再通过投票影响最终排名。实验显示，单项攻击可让模型上升约15—20位，组合攻击最高提升45位。该问题并非某一排行榜独有，而是开放提示、投票或模型提交条件下的系统性评估缺陷。
核心发现：偏好排行榜不是免疫于操纵的测量系统
开放式大模型竞技场通常将两个匿名模型的回答交给用户作两两偏好选择，再使用 Bradley-Terry 模型把大量成对比较聚合为排行榜。这类机制试图逼近真实用户偏好，但研究证明：当投票、提示和候选模型提交均开放时，榜单反映的不只是模型质量，也会放大参与者对评测机制的策略利用。
研究识别出三种攻击路径：战略投票直接选择能抬高目标模型排名的比较结果，甚至给无关模型投票；战略提示提交目标模型占优、但与其他模型无关的提示；战略提名把无关模型插入候选池，稀释真实竞争者并改变目标模型的相对位置。单项策略可让模型前移约15—20位，组合使用最高可提升45位，说明攻击收益具有累积性。
Bradley-Terry 聚合为何会被攻击
Bradley-Terry 模型通常把模型 $i$ 战胜模型 $j$ 的概率写为：
$$ P(i \succ j)=\frac{\pi_i}{\pi_i+\pi_j}, $$
其中 $\pi_i$ 是待估计的潜在强度参数。最终名次由成对比较形成的胜负图决定，而不是由固定、可复现的测试集直接计算。
这意味着三种动作会改变输入统计量：投票改变胜负图的边权，提示改变被比较输出的条件分布，模型提名改变图的节点集合。如果系统把每张票视为独立、无成本且无策略性的样本，那么攻击者即使只提供很少量有效操作，也可能通过局部重排获得远高于其质量差异的名次收益。
更深层的问题在于，排名函数对“胜率”和“对手集合”并非天然不变。加入一个几乎总是输给目标模型的无关节点，会让目标模型在更多比较中获胜；选择目标模型明显占优的提示，则提高目标模型在关键边上的胜率。两种操作分别攻击排名图的节点和边，因此可以叠加。
为什么官方榜单难以自行识别
匿名模型可以隐藏被提交者身份，却不能自动消除策略性选择。只要投票者能够在提交提示时看到候选模型，或能通过试探性投票推断排名关系，榜单就可能暴露可优化信号。
这是一种典型的 Goodhart 定律风险：当排行榜分数从模型能力的代理指标变成可被直接博弈的优化目标，评测系统就会失去测量效度。现有 Elo、Bradley-Terry 或其他偏好聚合评分即使数学上能够拟合数据，也不会自动验证输入流量是否具有代表性。
研究还指出，脆弱性适用于任何允许开放提示、投票或模型提交的 Bradley-Terry 偏好评测，而不只是某一个公共排行榜。因此，单纯更换排名算法无法彻底解决问题。
防护方向与工程权衡
针对不同攻击，应在评测链路的不同位置设防：
- 限制战略投票：引入速率限制、信誉评分、重复投票检测和行为异常分析，降低批量刷票收益。但信誉系统会排除新用户，也可能误伤小众但高质量的投票者。
- 约束战略提示：从公共任务池随机抽样提示，或由第三方维护盲测集；代价是牺牲开放性，并增加题目维护和审计成本。
- 限制战略提名：采用白名单、模型注册审核或候选池随机采样，阻断无关节点插入；但这也会降低新模型参与评测的便利性。
- 采用稳健聚合：对异常投票模式进行鲁棒估计、分组比较和置信区间报告，而不是只发布单一名次。
- 加入不可操纵的外部基准：定期使用隐藏提示、固定测试集和可复现评分器交叉验证偏好榜单。
这些措施通常存在覆盖率与抗攻击性的权衡：限制越严格，榜单越可信，但越难反映真实用户的自由交互；限制越宽松，用户体验越自然，但榜单越容易被优化。最终更可靠的产品形态可能不是单一总分，而是显示名次置信区间、样本量、提示分布与异常投票审计结果。
评测结论应如何解读
论文在公共排行榜数据上验证攻击效果，并分析导致漏洞的条件，同时为每类攻击提出防护方向。其贡献在于把“排行榜可信度”从运营问题提升为可分析、可测试的评估系统问题。
不过，摘要尚未披露攻击者预算、模型覆盖范围、提示集合构造、统计显著性、跨时间段复现情况以及防护方案的实际残余风险。因而，15—20位和45位更适合作为论文实验中的风险信号，而不是对所有榜单都固定成立的常数。
对模型厂商和榜单运营方而言，正确做法不是简单隐藏提交入口，而是把排行榜视为一个持续对抗的安全系统：记录提示与投票行为，检测策略性提名，限制可复用的选择空间，并用隐藏基准验证排名。只有这样，竞技场分数才更接近模型能力，而不是攻击者优化评测流程的能力。
—— 完 ——消息来源：ArXiv AI (cs.AI) (2026-11-13)
主题标签： #大模型评测 #竞技场排行榜 #Bradley-Terry #排名操纵 #模型安全
编辑部与事实核查说明：本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译，经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏，欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区