MMDM大规模决策基准：模型懂知识，却不擅长约束与多选

摘要：MMDM 发布了一套面向 System-1 决策模型的大规模多任务基准，包含 5,448 个问题、16 类任务，选项规模最高达 1,024，输入最长达到 64,817 个 Token，覆盖单选、多选和软标签决策。团队对 28 个决策模型的评测显示，模型在世界知识等常规任务上可取得较高准确率，却在选项逻辑、约束规划和完整多选恢复上明显退化；最佳困难多选准确率也只有 36.81%。该基准说明，生成答案并不等同于可靠决策，模型必须联合理解候选项之间的依赖、硬约束与组合覆盖关系。

---

MMDM 测的不是“会不会答题”，而是“能否可靠地作出结构化决策”

System-1 决策模型在一次前向传播中直接对给定状态和候选选项进行结构化概率决策，不生成自回归推理轨迹，也不输出自然语言解释。MMDM（Massive Multitask Decision Making）将这类模型置于更接近实际系统的评测环境中：候选项可能多达 1,024 个，输入最长达到 64,817 个 Token，答案还可能受到硬约束、选项依赖或多重正确的共同影响。

该基准共包含 5,448 个高质量问题、16 个任务类别，任务覆盖智能体状态跟踪、工具与技能选择、偏好判断和评分标准评估。数据由新建题目、基于来源材料的重组以及改写共同构成，以降低模型在预训练阶段见过测试材料所带来的污染风险。

从候选排序转向约束满足与集合覆盖

传统单选评测通常可以简化为：

[ \hat{y}=\arg\max_{i\in O} p(y_i\mid x) ]

其中 (O) 是候选项集合。但在多选场景中，目标通常更接近：

[ \hat{Y}=\arg\max_{Y\subseteq O} p(Y\mid x),\quad Y\neq\varnothing ]

模型必须找出所有满足条件的选项，而不能只挑出置信度最高的几个候选。这种变化不仅是输出格式调整：多选召回要求模型对候选项进行集合级优化，漏掉一个必要选项就可能使整题失败。软标签决策则进一步要求区分正确、错误与部分可接受选项之间的置信程度。

MMDM 的难点还来自选项间的相互依赖。例如，工具选择任务可能要求同时满足工具权限、当前资源和任务阶段；约束规划任务则可能规定一组硬性边界。模型即使对每个候选分别给出较高概率，也不代表这些概率在联合层面一致。

从工程实现看，这类问题通常需要把状态、约束和候选项编码为联合上下文，再输出结构化概率或标签。若候选空间较大，直接对全部选项执行高成本交叉注意力会迅速推高预填充和推理成本；更现实的系统通常需要分层候选召回、约束解析以及轻量级重排。但任何预筛选都会引入漏召回风险，因此评估召回上限与最终决策误差必须分开进行。

28 个模型暴露明显的能力断层

MMDM 对 28 个决策模型进行了量化评测。结果显示，许多模型在常识和世界知识类问题上表现良好，但在涉及选项逻辑、硬约束和完整多选恢复的任务上显著退化。

Perplexity Decider-V1.2 在困难世界知识单选任务上的准确率达到 78.75%，但选项逻辑仅为 53.95%，约束规划进一步降至 47.95%。所有模型中，困难多选任务的最高准确率也只有 36.81%。

这组差距表明，模型具备知识并不等于它能执行决策规则。知识型单选主要考察从上下文到单个答案的映射，而多选和约束任务还要求：

• 联合评估候选项之间的逻辑关系；
• 严格遵守不可违反的硬约束；
• 在多选场景中恢复完整答案集合；
• 在超长上下文和大规模候选空间内保持证据定位能力。

官方结果是基准自带评测，尚不能直接代表所有真实部署表现。不同任务子集是否经过独立模型筛选、提示模板是否经过逐模型调优、软标签评分采用何种归一化方式，以及采样参数是否完全一致，都会影响横向排名。官方给出多个任务维度的分数，有助于减少单一总分掩盖问题，但完整复现仍需依赖代码、数据与评测脚本。

长上下文和大候选集不是同一类瓶颈

MMDM 同时施加长上下文和大候选空间，但二者带来的工程问题不同。64,817 Token 的输入首先考验 KV Cache 占用与注意力计算：标准稠密注意力的计算和内存复杂度近似随序列长度二次增长。长上下文结合 GQA、稀疏注意力、FlashAttention 或分层 KV 管理可以缓解这一成本。

候选数达到 1,024 时，瓶颈则更多落在候选表示、交叉交互和标签组合空间。朴素做法可能形成“选项数乘上下文长度”的中间表示，导致显存占用显著上升。工程上可以采用两阶段架构：先用便宜编码器召回候选子集，再让强模型或专用重排器处理依赖与约束。但这会把任务转化为“召回错误与重排错误”的叠加问题，尤其在多个正确选项都可能较低排名的多选任务中，浅层召回尤其容易破坏完整性。

部署层还需要把模型分数转换为系统可执行决策。硬约束不应仅依赖提示词或自然语言后处理，而应由确定性规则、约束求解器或类型化状态机执行校验。模型负责提供候选排序与软偏好，规则层负责验证权限、资源和逻辑边界，这种分层能降低模型“知道规则但没有严格遵守规则”的风险。

开发者如何采用 MMDM

对于模型团队，MMDM 可用于拆分评估单选、多选、软标签、选项逻辑和约束规划，避免总体平均分掩盖关键缺口。训练或微调时，可将错误拆分为证据定位失败、候选漏召回、逻辑关系建模失败和完整性不足，并分别构造监督信号。

对于智能体系统，候选工具不应只依赖语言相似度排序。推荐先根据结构化状态执行权限与资源过滤，再让模型处理偏好排序；对高风险操作增加独立验证器，并为多步决策保留候选集合快照，以支持回放和归因。

使用该基准前还需核查许可证、数据来源与潜在污染，尤其是由公开材料重组的题目是否仍可能被基础模型记忆；软标签的评分边界和困难子集的样本量也会影响统计稳定性。若用于模型选型，应优先关注各任务分项、置信区间和最差分组表现，而不是只比较总榜名次。

结论

MMDM 的主要贡献不是增加一道更大的选择题，而是把 System-1 模型置于长上下文、大候选空间、选项依赖和约束组合同时存在的环境中。78.75% 的世界知识成绩与 36.81% 的最高困难多选准确率形成鲜明反差，揭示了当前决策模型从“识别正确候选”到“满足完整决策契约”之间仍有明显断层。

对实际系统而言，模型排名不能替代工程验证。真正可上线的决策管线需要同时处理概率推理、硬约束、集合完整性、超长上下文和运行时校验；任何一环缺失，都可能让看似准确的语言模型在真实选择任务中失效。

---

消息来源：Hugging Face Daily Papers (2026-11-10)

—— 完 ——

主题标签： #决策模型 关注 #多选评测 关注 #长上下文 关注 #约束推理 关注 #Agent评测 关注