SO-Arena评测21个快速决策模型：高分不等于可靠

摘要：SO-Arena 将快速、非长链式推理的 System One 模型置于 11 个领域和 5 类能力中评测，并从能力广度与决策可靠性两个维度拆分表现。基准引入可核验证据、细粒度难度分级和沙箱交互，同时通过选项扰动后的决策稳定性及无有效选项时的拒答识别衡量可靠性。对 21 个模型的实验显示，模型扩展和额外推理的收益高度依赖领域；综合成绩最佳的 System One 模型，可靠性排名仅为第七，说明平均准确率不能替代稳定性、认知校准与风险拒答测试。

---

基准解决什么问题

SO-Arena 聚焦于无需生成长推理链、强调快速通用决策的 System One 模型。现有评测通常把不同领域、不同难度的任务压缩成一个平均准确率，但这种总分无法回答三个关键问题：模型究竟覆盖哪些能力、在选项变化时能否保持判断，以及没有正确答案时是否会识别自身知识边界。

该基准覆盖 11 个领域、5 类能力和 21 个模型。其主要价值不是再提供一张总排行榜，而是把能力广度与决策可靠性拆成两个正交维度进行测量。

能力谱系如何测量

第一项设计是证据约束评测。参考答案来自可靠资料，并经过人工核验，确保模型在作答时能够看到支持该答案的证据。这比依赖未经验证的自动标签更可靠，因为后者可能把标注噪声误判为模型错误，也可能在模型可见信息不足时造成不公平惩罚。

第二项设计是按领域设置难度标准。SO-Arena 不再把一道题简单记为对或错，而是依据领域特性区分基础识别、组合推理和复杂决策等层级。工程上，这相当于把传统单标签任务改造成能力矩阵：不仅能看到模型在哪个领域失败，还能判断失败发生在基础能力、组合应用还是高难度边界。

第三项设计是沙箱交互。模型可以迭代执行动作，评测系统则根据执行结果而非静态文本继续推进任务。这一设计更接近智能体或工具增强系统的真实运行路径，可测量模型能否把一次判断转化为后续行动，并在环境反馈出现后修正策略。

此外，部分高推理强度任务被用于 System One 与 System Two 对照，从而区分快速决策机制本身的能力与增加推理计算后获得的增益。不过，这种对照只能说明预算变化带来的性能差异，并不必然等同于某种可解释的内部认知过程。

可靠性采用双重指标

SO-Arena 没有把准确率当作可靠性的替代品，而是引入两个互补指标。

决策稳定性

评测会控制选项集合发生变化，例如增删干扰项或调整候选答案，然后比较模型是否改变原有正确判断。如果模型对语义等价、理论上有利的选项扰动高度敏感，说明其输出可能依赖选项位置、表面措辞或分布特征，而非稳定掌握任务规律。

从统计实现看，这一指标应被视为扰动测试：固定原始实例和证据，只改变候选集合，再测量一致选择率、翻转率以及翻转后正确率。工程上不能只计算原始准确率，否则模型可能通过“猜中初始答案”获得高分，却无法经受生产环境中的动态选项更新。

无答案识别

第二项指标考察候选集中不存在有效选项时，模型能否明确拒答或指出信息不足。它比普通拒答率更接近认知校准：真实风险并非所有时候都拒绝，而是在确实缺少答案时拒绝，并在确有依据时保持行动能力。

如果一个模型在无答案样本上大量猜测，或者在有效选项存在时也频繁拒答，其总体准确率即使不低，也难以直接用于高成本决策。

21 个模型实验揭示了什么

实验最重要的发现是：扩展模型规模和增加推理计算所带来的收益，在不同领域之间差异很大。统一增加推理预算并不会按比例提高所有任务，也不意味着快速模型与长推理模型之间存在稳定的能力排序。领域特性、任务是否依赖证据、交互反馈以及候选空间复杂度，都会改变计算预算的价值。

更关键的是，综合成绩最好的 System One 模型，可靠性只排到第七。这说明平均准确率与决策可靠性并非同一个维度。一个模型可能依靠较强的数据集适配、候选答案识别或局部模式取得高总分，却在选项扰动后频繁翻转，或面对缺失答案时强行输出。

因此，模型选型不能只看一个综合均值。更合理的做法是同时报告领域分层准确率、无答案条件下的校准表现、扰动一致性，以及交互任务中的完成率，并根据业务失败成本设置权重。

工程与评测权衡

SO-Arena 的方法比静态问答更接近真实系统，但也引入了额外成本。沙箱交互需要维护环境状态、执行模型动作并重置实验条件，测试耗时通常高于一次性生成；证据核验和人工标签审查则提高前期数据成本。对于生产级回归测试，优势在于可以重复执行固定环境并捕获具体失败轨迹，而不只是得到一个难以诊断的聚合分数。

指标本身也存在边界。决策稳定性依赖扰动是否保持任务语义和答案集合等价，过于任意的选项变换会制造非预期难题；无答案识别则容易受拒答措辞、提示模板和评分解析器影响。若只使用关键词判断“模型是否拒答”，不同表达方式可能造成系统性偏差。

此外，基准覆盖 21 个模型足以揭示架构趋势，但不足以证明某个结论对所有模型家族普遍成立。模型规模、训练数据、推理预算、系统提示和工具配置若未严格匹配，就不能把差异完全归因于 System One 架构。跨论文比较时，必须核对采样参数、上下文预算、工具权限以及是否允许多轮交互。

开发者如何采用

团队可将 SO-Arena 视为模型选型和发布门禁的参考框架，而不是直接替代内部评测集。落地时建议分三层执行：

1. 先做能力剖面：按领域与难度绘制模型矩阵，确认业务所需能力是否真正覆盖，而不是被综合平均分掩盖。
2. 再测稳定性：对真实业务中的同义改写、干扰项增删和答案顺序变化执行扰动回归，记录翻转率和置信度变化。
3. 最后校准拒答：构造明确无解、信息不足和证据冲突样本，区分合理拒答、过度拒答与危险猜测。

对于智能体场景，还应将沙箱中的失败轨迹纳入监控。模型即使在单轮问题上表现稳定，也可能无法根据工具反馈修正动作；反过来，长推理模型在复杂任务上可能更稳，但增加延迟和 Token 成本。System One 模型真正适合的是延迟预算明确、错误可恢复、动作能够通过环境反馈校验的路径。

结论

SO-Arena 带来的核心提醒是：快模型的价值不由平均准确率单独定义。快速决策只有在能力覆盖充分、扰动下稳定，并且能在无答案时识别边界时，才具备可部署的可靠性。该基准将“会不会答”与“能否持续给出可信决策”分开，为低延迟模型、智能体控制器及混合推理系统提供了更严谨的评测框架。

---

消息来源：Hugging Face Daily Papers (2026-11-11)

—— 完 ——

主题标签： #SO-Arena 关注 #System One模型 关注 #决策可靠性 关注 #模型评测 关注 #快速推理 关注