WMIP拆解大模型工作记忆：多步状态追踪随更新次数急剧衰减

摘要：WMIP 提出受人类工作记忆启发的可编程探针，用程序计算状态更新与答案，并在相同题目上比较 18 款大模型在最终态、中间态及多目标查询中的累计追踪能力。模型单步算术准确率达 84.9%，但在连续 3 至 7 次更新后只需给出一个数字的核心任务上降至 31.7%；50 次更新起无一模型超过 10%。允许模型写出中间步骤并将答案放在末行后，核心准确率升至 88.0%，提升主要来自输出协议而非增加 Token 预算。研究同步开放生成器、题目、评分代码与模型响应，为区分算术能力、内部状态保持能力和提示协议影响提供可复现实验基础。

---

WMIP 测什么：不是算术，而是连续更新后的状态保真度

WMIP 将大模型的累计状态追踪拆成一组可程序化验证的任务：模型在单个提示中依次接收 3 至 100 次状态更新，最后查询最终状态、某个中间状态或多个目标。答案由确定性程序计算，避免自然语言评分带来的歧义，也使不同模型可以在完全相同的题目和更新序列上比较。

这项设计针对一个常被基础能力掩盖的问题：模型能正确完成一次简单运算，并不代表它能在上下文中持续维护并更新状态。单步算术只检验当前输入与局部计算；WMIP 则要求模型把前一次结果作为下一次更新的隐式状态，其难度更接近工作记忆、状态化智能体和长链工具执行中的核心瓶颈。

关键结果：状态深度增加，准确率断崖式下降

在 18 款大模型的实验中，单步算术准确率为 84.9%，但核心任务——经过 3 至 7 次更新后仅返回一个数字——准确率降至 31.7%。当更新次数达到 50 次时，没有模型超过 10% 准确率。

这组结果说明，通用推理分数不能直接外推为工作记忆能力。一个模型可以在局部计算上表现良好，却在长更新链中出现状态覆盖、遗漏、串扰或无法把早期状态重新对齐到当前查询。即使上下文窗口能够容纳全部输入，也不代表模型能够可靠地维护与更新其中的动态状态。

WMIP 因而更适合作为模型能力分项探针：它把单步算术、内部状态追踪、查询定位和答案输出分开，有助于判断失败究竟来自计算逻辑、状态保持，还是最终答案格式。

输出协议比 Token 预算更关键

在允许模型展开中间步骤，并明确要求把答案放在最后一行后，核心准确率达到 88.0%。研究进一步指出，这一提升主要来自输出协议变化，而不是单纯扩大生成预算。

从推理计算角度看，这符合自回归解码的基本约束：模型只有在生成后续 Token 时，才能重新读取此前写出的状态。隐藏状态虽然会持续经过每一层注意力计算，但中间更新值并不会以显式、可重新寻址的变量形式写入上下文。写出中间结果，相当于把隐式工作记忆外化为文本外部状态：后续每一步可以直接从上下文中复制并修改该值，减少对脆弱隐藏状态链的依赖。

不过，这并不意味着“写出步骤”会解决所有长链问题。显式状态会增加输出长度和延迟，也可能引入转录错误、冗余推理、错误自我强化，以及步骤与最终答案不一致等新问题。WMIP 的价值在于揭示评测协议本身会显著改变结论，而不是简单地把“长思维链”当作通用解法。

与函数调用能力的关系

WMIP 的核心准确率与公开的 Berkeley Function Calling Leaderboard 分数呈正相关。这意味着较强的工具调用或结构化执行能力，与累计状态追踪表现存在一定共变关系，但相关不等于因果。

合理解释是，函数调用基准同样要求模型理解状态化任务、遵守参数 schema、选择工具并处理多轮执行结果；这些能力与工作记忆存在部分共享。但 WMIP 本身不调用外部工具，也不提供工具反馈闭环，因此无法证明函数调用能力直接导致状态追踪提升。更严谨的后续实验需要控制模型规模、训练数据、提示长度和解码参数，并采用工具辅助与无工具的配对实验。

评测实现的关键工程点

WMIP 的价值不只在最终准确率，而在其可复现的实验设计：

• 程序化答案：题目状态与目标答案由代码生成和计算，减少人工标注与语言模型裁判误差。
• 同题多协议比较：不同输出协议使用相同题目，避免题目难度差异污染比较。
• 多查询类型：最终态、中间态和多目标查询分别检验状态读取、状态定位与并行检索。
• 多深度覆盖：从 3 次更新延伸至 100 次更新，可观察错误率随依赖链增长的趋势。
• 资产完整开放：生成器、题目、评分代码和原始响应均公开，便于复现模型排序、协议敏感性与误差分布。

仍需注意，题目由程序计算并不意味着任务分布完全覆盖真实工作记忆。人类工作记忆并非固定容量、静态槽位加逐次覆盖的简单寄存器；真实任务还涉及注意选择、概念化更新、干扰抑制、延迟与纠错。WMIP 更适合作为可扩展的算法化诊断工具，而非完整的人类认知测量。

对开发者与智能体团队的部署启示

1. 不要用单步数学能力代替状态化可靠性测试。 Agent 若需执行“读取余额—扣款—加款—再扣款”等流程，应直接测试中间状态与最终状态。
2. 把关键状态显式化。 在提示或工具协议中维护结构化账本、对象状态或任务账本，而不是依赖模型隐式记住所有中间值。
3. 分别评测工具调用与工作记忆。 强函数调用分数可作为风险信号，但不能替代累计更新测试。
4. 严格固定协议做模型选型。 比较模型时必须统一是否允许中间步骤、答案位置、最大 Token 和解析方式，否则测到的可能是提示工程能力。
5. 建立状态一致性检查。 对关键业务任务增加程序化断言或二次读取，验证中间状态、最终状态与工具执行结果一致。

结论

WMIP 的核心贡献不是提出新的模型架构，而是提供一把更锋利的尺子：它表明大模型的单步算术能力与工作记忆式累计状态追踪之间存在巨大鸿沟。88.0% 的高准确率也说明，输出协议会改变甚至重塑模型表现。因此，评测智能体或长上下文系统时，必须同时控制更新深度、查询类型、输出协议与 Token 预算，否则所谓“长链推理能力”很可能只是协议适配能力。

---

消息来源：Hugging Face Daily Papers (2026-10-30)

—— 完 ——

主题标签： #WMIP 关注 #工作记忆 关注 #状态追踪 关注 #大模型评测 关注 #智能体 关注