苹果拆解SSM门控：上下文学习与记忆并非同一能力

摘要：苹果机器学习研究团队从现代循环式状态空间模型的动态门控机制出发，解释其为何既能形成参数化记忆，又常在上下文学习与精确检索上落后于Transformer。研究将门控视为控制信息保留、覆盖和跨序列状态传递的关键组件，为改进SSM架构提供了更具体的优化路径。若这一结论成立，模型设计不应只追求线性复杂度，还需针对检索任务改进门控的输入依赖与状态选择机制。

---

研究聚焦：门控决定SSM究竟记住了什么

苹果机器学习研究团队将注意力放在现代状态空间模型（State Space Models，SSMs）的门控机制上，试图回答一个直接影响大规模语言模型选型的问题：为什么SSM拥有线性计算和近似恒定内存，却经常在上下文学习（In-Context Learning，ICL）与精确检索任务上落后于Transformer？

论文给出的核心判断是，SSM在记忆与上下文学习上的成败都可以从门控行为解释。这里的“记忆”并非Transformer式的上下文读取，而是信息被写入参数或压缩状态后，以先验方式影响后续预测；上下文学习则要求模型在当前序列内临时识别规则、切换任务并调用此前出现的信息。两种能力表面上都像“利用过去”，底层机制却并不等价。

技术机制：门控不只是一个衰减系数

在离散化状态空间模型中，状态转移可写为：

[

h_t = A h_{t-1} + B x_t, ]

输出通常由：

[

y_t = C h_t + D x_t ]

得到。线性递推适合流式推理，但原始SSM的状态更新主要由输入内容与固定参数决定，缺少足够强的内容相关选择机制。

现代SSM因此引入依赖输入的门控，将状态转移改写为类似选择性扫描的形式。门控可以抽象为：

[

z_t = \sigma(W_z x_t), \qquad h_t = z_t \odot A h_{t-1} + (1-z_t)\odot Bx_t. ]

其中，(z_t)决定旧状态应被保留多少，输入写入项则补充新的序列信息。门控取值接近1时，状态倾向于保留；接近0时，旧状态被更强覆盖。门控还可使用输入依赖的衰减矩阵，让模型选择性擦除与当前任务无关的信息。

问题在于，参数化衰减(A)、内容门控(z_t)和输入写入机制承担的职责并不天然一致。若门控主要学习“保留或遗忘”，它可能支持压缩式记忆，却不足以精确判断上下文中的某条信息何时应该被重新检索。模型可以把相关事实存入递归状态，也可以把它泛化为统计先验，但要完成Transformer擅长的多跳检索，需要门控针对内容关系执行更细粒度的选择。

为什么线性复杂度不等于更强的上下文学习

Transformer对上下文的每个Token进行注意力交互，复杂度通常为：

[

O(n^2d) ]

其中(n)是序列长度，(d)是隐藏维度。SSM通过递归状态把序列交互压缩为近似：

[

O(nd^2) ]

其长序列成本更接近线性，且流式推理不必保存全部Key与Value。

然而，计算复杂度只描述处理序列的成本，不保证模型具备精确的上下文寻址能力。Transformer的注意力权重可直接形成Token到Token的内容路由；SSM则需要在有限维递归状态中保存信息，并避免有限容量造成干扰。当上下文包含多个相似事实、例外规则或需要回看前文才能组合的证据时，状态更新容易将“出现过”压缩成“总体相关”，却丢失“具体是哪一条”。

这也是门控与检索能力之间的工程矛盾：更强擦除有利于抑制状态污染，更弱擦除有利于保留事实；更强输入依赖路由有利于按任务检索，固定衰减则成本更低但适应能力有限。

记忆与ICL为何需要分开评估

研究价值之一，是避免用单一语言建模指标混合评估两种不同能力。

• 参数化记忆关注模型在训练数据中学习并泛化稳定模式的能力，例如语法、领域分布和重复事实。
• 上下文学习关注模型仅凭当前提示中的示例、规则或证据临时改变行为，通常不应依赖训练阶段已经见过该模式。
• 精确检索要求从长上下文中定位特定Token或事实，并保持原始内容，不只是保留主题相关表示。

如果评测集大量包含重复模板或高频事实，SSM的参数记忆可能掩盖其ICL短板；反之，只报告困惑度，也无法说明模型是否能在新任务中动态复用上下文证据。因此，更有解释力的评测应分别报告训练集内记忆、未见任务的ICL、长上下文精确召回，以及相同硬件和序列长度下的吞吐与延迟。

工程权衡：门控越强，不一定越划算

输入依赖门控通常通过矩阵乘法、逐元素乘法和扫描实现。更丰富的路由可能提升检索能力，但也会增加参数、内存带宽和算子融合难度。现代GPU上，线性复杂度的理论优势不自动等于更快；若门控分支无法融合，实际延迟可能由大量小核操作主导。

此外，SSM训练常依赖高效的并行扫描，而输入相关门控会提高递推状态的复杂度。在短序列场景中，Transformer借助成熟算子与并行计算未必落后；在百万级长上下文中，SSM才更可能体现流式状态与常数级缓存的优势。

部署时还需比较三类指标：

1. 每Token延迟及首Token时间；
2. 长上下文下的显存占用与并发会话数；
3. ICL和精确检索质量相对困惑度的增益。

门控改进若只提高检索准确率，却让每层门控计算成本接近甚至超过注意力的有效成本，其架构价值就会明显缩水。

对开发者与模型团队的落地建议

对正在评估Mamba、状态空间层或混合架构的团队，这项研究提供了一条比单纯扩大模型更直接的优化路线。

首先，应建立门控行为诊断，而不只是查看最终准确率。可测试门控是否随输入相关性变化、是否错误覆盖旧状态，以及是否能在加入干扰事实后继续定位目标证据。其次，应分别消融内容门控、输入依赖衰减矩阵和状态写入路径，避免把性能变化错误归因于整个SSM模块。

工程上可优先在长上下文精确检索、合成规则归纳和少样本分类上做小规模验证，并固定状态维度、参数量和训练预算，与同规模Transformer及混合注意力架构进行等算力比较。若部署目标是流式助手、边缘设备或超长上下文，SSM的低KV Cache开销仍然重要；若核心需求是动态引用少量关键事实，则必须确认递归状态能否充当可靠的外部索引。

评测局限与后续问题

当前采集信息主要来自研究摘要，尚不足以确认论文采用的模型规模、门控变体、任务集合和具体提升幅度。评估这些结论时尤其要区分三件事：门控是否改善了ICL本身，还是仅让模型更接近记忆训练集；精确检索的提升是否在长序列中持续存在；以及参数与算力增加后，线性扫描优势是否仍然成立。

这项工作的真正启示是：SSM与Transformer的差距不能只归因于架构类型。门控可能正是连接递归状态、参数记忆和上下文检索的接口；如果能围绕内容相关路由重塑这一接口，SSM的线性复杂度优势才更有可能转化为大模型生产价值。

---

消息来源：Apple Machine Learning Research (2026-11-10)

—— 完 ——

主题标签： #状态空间模型 关注 #门控机制 关注 #上下文学习 关注 #长上下文检索 关注 #苹果研究 关注