CogBattery评测54款开放模型：方向相似不等于类人行为
摘要：CogBattery 将13种人类认知范式改写为文本任务，使用原始研究中的人类数据作为条件级参照，系统评测54款开放权重语言模型。结果显示，模型常能复现人类效应的方向，却产生更多误报，且置信度对正确与错误答案的区分能力普遍弱于人类。跨任务分析仅发现两个稳定维度，其中一个与模型规模相关，但更大并不意味着持续更接近人类；预设认知分组也没有稳定优于同规模随机分组。该工作提醒开发者：效应方向、平均准确率或排行榜排名都不能单独证明模型具备类人推理机制。
核心发现：复现人类效应，不等于复现人类行为
CogBattery 将 13 种经典认知范式改写为文本任务，并以原始研究收集的人类数据为参照，对 54 款开放权重语言模型进行统一评测。它关注的不是单一平均分，而是一个模型是否在具体条件下同时复现人类的行为模式、错误类型与置信度结构。
最典型的结果来自 n-back 任务。模型与人类一样，会对 lure 产生比控制条件更强的反应，说明模型能够在表面统计结构上识别出“当前刺激与此前某次刺激相同”这一模式。然而，模型在普通非目标项上触发的误报远多于人类。这意味着“方向一致”可能只是宽松线索利用带来的副作用，而不是工作记忆、目标维护或冲突监控等人类认知机制的真正复现。
评测还发现，多数模型报告的置信度不能像人类置信度那样有效区分正确和错误答案。许多模型会持续选择同一个 wager 选项，甚至在分类准确率较高时也是如此。若只依赖准确率或平均得分，这类退化很容易被掩盖；条件级错误分布和置信度校准因此是更关键的诊断信号。
评测机制：从“有没有效应”转向“错误结构是否一致”
CogBattery 的关键设计是保留每项任务的实验条件和对应的人类参照，而不是把不同范式压缩成一个缺乏诊断能力的总分。模型需要在与原始研究一致的条件级上下文中接受测试，再将反应分布、错误类型和置信度与人类数据进行比较。
这种设计能够区分至少三类情况：
- 方向复现：模型在某个刺激上表现出与人类相同方向的反应差异；
- 机制近似：模型不仅方向一致，其误报、漏报、置信度和条件间关系也接近人类；
- 表面拟合：模型通过与任务核心机制无关的表面线索取得相似结果。
例如，n-back 中更高的 lure 反应只能证明模型检测到了某种重复关系，不能单独证明它像人类一样维护并更新了工作记忆。若人类只在特定冲突条件下显著提高误报，而模型对所有非目标项普遍过度报警，两者即使共享一个方向指标，行为结构仍然不同。
跨任务结构：规模有影响，但不等于更接近人类
跨任务分析得到两个共同维度，其中一个与模型规模密切相关。这符合直觉：更大的模型通常能更好地遵循任务指令、理解刺激关系并维持复杂任务状态。但另一项结果同样重要：参数规模增大并不保证模型持续接近人类。
这意味着规模可能提升平均任务表现，却不能单调改善类人行为一致性。小模型可能因指令理解不足而产生系统性偏差，大模型则可能发展出不同于人类的错误分布，例如更频繁的过度报警、异常稳定的下注策略，或缺乏有效的自我不确定性表达。
研究还检验了按照预定义认知能力对模型分组是否具有预测价值。结果显示，这些分组并没有稳定优于规模相同的随机分组。换言之，仅凭模型被归入“推理型”“记忆型”或“语言型”等标签，无法可靠预测其在另一项认知任务中的行为。
工程启示：不要把认知基准当作“类人程度认证”
对模型评测团队而言，第一项实践是保留条件级指标。除任务总准确率外，应同时记录不同条件下的反应、误报与漏报比例、置信度校准，以及行为随提示或任务结构变化的稳定性。一个模型在某些子条件上接近人类，并不代表其错误机制也接近人类。
第二项实践是建立“效应方向 + 行为结构”的双重判定。单个效应量方向相同只能作为弱证据；更可靠的测试应要求模型在多个相互制约的条件上呈现相似模式，并通过置信度、错误类型或干扰敏感性验证。这尤其适合检查强化学习后的模型是否只是学会了压缩测试答案，或指令微调是否改变了表面格式而没有改变潜在行为。
第三项实践是避免用参数规模替代机制验证。更大的模型通常值得部署，但若目标是理解认知能力，应采用跨任务、跨条件甚至跨提示的稳定性测试，并报告人类参照的不确定区间，而不是追求一个掩盖差异的“类人相似度”总分。
局限与后续验证
人类认知任务最初多为视觉、听觉或操作实验；改写为文本后，刺激编码、反应方式和部分任务语义都会发生变化。因此，当前结果更准确地说明模型与“文本化任务中的人类参照”之间的差异，不能无条件外推到所有自然认知活动。
此外，54 款开放权重模型提供了较广的家族覆盖，但不同模型在训练数据、指令微调和参数规模上仍可能存在混杂。未来若能公开任务生成脚本、逐条件响应、置信度校准指标和统计检验方法，就能进一步复现这些结论，并判断模型能力分组与规模因素在各任务中的真实贡献。
CogBattery 最重要的贡献，是把评测标准从“答案是否正确”推进到“错误、置信度和条件依赖是否像人类”。只有后者也得到支持，才更有理由讨论模型是否采用了与人类相近的认知机制。
—— 完 ——消息来源：Hugging Face Daily Papers (2026-10-30)
主题标签： #CogBattery #开放权重模型 #认知评测 #置信度校准 #人类对齐
编辑部与事实核查说明：本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译，经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏，欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区