WorkflowArena揭示：最强模型未必是最好的智能体协调者

摘要：Einsia 发布 WorkflowArena 基准，用 145 个跨八领域的长时程任务评测多模型智能体团队的分工、委派与最终交付质量。实验中，Claude Opus 5.5 生成的静态工作流让四个执行模型平均提升 6.41 分，而 GPT-6 Astra 的工作流反而平均下降 2.53 分；后者在主基准中却强于全部执行模型。结果表明，协调模型能否为其他模型提供可执行、可增益的编排，比其单模型榜单成绩更接近混合智能体系统的真实能力。

---

WorkflowArena测试的不只是最终答案

Einsia 推出的 WorkflowArena 聚焦一个容易被智能体榜单掩盖的问题：当一个模型负责拆解任务、另一个或多个模型负责执行时，谁真正适合担任协调者？

基准包含 145 个长时程任务，覆盖 8 个领域。智能体需要自行决定工作如何拆分、由谁执行、如何委派；系统则记录委派关系，并根据最终交付物是否满足任务要求进行评分。与只测单个模型解题能力的基准相比，这种设计更接近生产环境中的多模型编排：系统质量取决于协调方案与执行模型之间的交互，而不是协调者自身的榜单名次。

协调者能力不能由单模型成绩代替

团队在实验中选取 Claude Opus 5.5 与 GPT-6 Astra，让二者针对相同的 32 个高难度任务，为四个执行模型编写静态工作流。协调者可以划分任务并向执行模型发出指令，但不能直接修改共享工作区，从而把“计划质量”与“自己完成工作”的能力分离出来。

结果出现了明显的方向分化：

• Opus 5.5 生成的静态工作流提升了全部四个执行模型，连续评分平均增加 6.41 分；
• Astra 生成的静态工作流却让执行模型平均下降 2.53 分；
• Astra 在主基准中的成绩又强于这四个执行模型。

这意味着，一个模型即使更擅长独立解决任务，也可能生成对其他模型不友好的工作流。分解粒度、指令粒度、上下文组织和交接契约都会影响执行：过于抽象的规划要求弱模型自行补全决策成本，过度具体的规划则可能压缩执行模型利用自身优势的空间。

为什么静态工作流仍是有价值的实验变量

这里的“静态”不是指固定规则系统，而是指协调者先写出工作流，再交给执行模型使用。它减少了一类混杂因素：执行模型在运行中自行编排时，其结果同时受到计划质量、临场调度能力和任务执行能力影响，难以判断收益来自哪里。

受控工作流至少能回答三个工程问题：

1. 协调者能否把目标转换为可执行的子任务；
2. 子任务说明是否包含执行模型所需且不过载的信息；
3. 委派结构能否让不同模型形成互补，而非简单复制强模型答案。

不过，静态方案也弱化了动态协调的能力。真实系统还可能需要处理失败重试、依赖关系变化、上下文不足和工具异常，因此该实验更适合作为协调器筛选测试，而不能直接替代端到端系统评测。

从“最强模型”转向“边际增益”

对于混合模型团队，更合理的评估指标不是协调者自身得分，而是它在特定执行模型集合上的增益函数：

[ \Delta_c = S(E \mid W_c) - S(E \mid \text{self-orchestration}) ]

其中，(W_c) 表示协调者 (c) 生成的工作流，(S(E \mid W_c)) 表示执行模型集合 (E) 在该工作流下的最终质量。除平均分外，生产选型还应记录最差执行模型的增益、任务失败率、重试成本和端到端时延。

若某个协调器只对强执行模型有效，对廉价模型产生负增益，那么它在成本受限的流水线中未必合格。反过来，一个在主榜单上略弱、却能稳定改善多个执行模型的协调器，可能具有更高系统价值。

评测仍需警惕基准边界

现有摘要没有披露连续评分的具体量表、评分者一致性、任务泄漏控制、模型采样参数、重复运行次数及显著性检验。32 个任务的协调实验规模也相对有限，因此 6.41 分与 -2.53 分应视为值得复现的信号，而不是已经确立的模型排名。

工程团队还应核查：是否按模型版本、提示模板和工具权限进行配对；工作流是否包含执行模型可以直接利用的私有技巧；失败任务是否被一致计入；以及动态编排与静态工作流是否获得相近的上下文预算。否则，协调质量可能与提示长度或信息泄漏混在一起。

部署建议：先测交互，再决定路由

落地时不应直接把全局最强模型设为默认 coordinator，而应采用三步流程：

• 先按业务任务划分少量代表性子集，固定执行模型、工具与上下文预算；
• 分别测试候选协调者生成的工作流，记录最终质量、调用次数、Token 消耗与重试率；
• 将“平均增益、最差模型增益、单位成本增益”共同作为路由依据，并保留按任务难度动态切换协调者的策略。

WorkflowArena 的核心贡献，是把多智能体系统评价从“谁的最终得分最高”推进到“谁能为其他模型组织出更好的工作”。对于正在构建 Claude、GPT 与专用小模型混合团队的人来说，协调器应被视为一个需要单独验证的接口组件，而不是模型榜单上的默认赢家。

---

消息来源：Reddit r/MachineLearning (2026-11-11)

—— 完 ——

主题标签： #WorkflowArena 关注 #多模型协作 关注 #智能体编排 关注 #协调器评测 关注 #Einsia 关注