自适应计算让LLM决策模型按需调用深层网络

摘要：这项研究把大语言模型改造成面向快速决策的System One模型，并通过多出口架构与轻量门控实现自适应计算。作者发现，决策所需信息主要集中在中间层，最终六层可在不损失效果的情况下移除；其联合自蒸馏方法让完整模型与共享末层、决策头的浅层子模型协同训练，在七个决策基准上取得优于独立训练模型的准确率—效率折中。

---

核心思路：决策模型不一定需要跑完整个LLM

这项研究针对一个常被忽略的工程问题：将语言模型改造成快速决策模型时，现行做法通常只替换语言建模头为决策头，却完整保留所有Transformer层。因此，每个样本都必须支付从输入到最后一层的全部计算成本。

研究的关键观察是，决策信息并不均匀分布在网络深度中。浅层首先构建基础特征，中层已经集中了大部分与决策有关的信息，而末端若干层对决策任务贡献有限。实验显示，在所研究的模型和任务上，最后六层可以被移除而不造成明显性能损失。

这也解释了为什么直接训练更小的独立模型不一定更高效：独立训练的小模型往往只是模仿完整模型的输出，而不是形成适合自身规模的结构化决策能力。真正值得共享的，不只是训练数据，也包括大模型后段已经形成的决策计算。

方法：共享末层的多出口架构

作者提出一种多深度模型结构：完整模型与若干前缀子模型共享最终层和决策头。训练时，完整模型作为教师，通过自蒸馏向不同深度的子模型传递决策能力，而不是让每个子模型完全从零开始学习。

在推理阶段，系统不固定选择某一深度。每个退出点都配备一个轻量门控器，读取该层的隐藏状态，判断当前样本是否需要继续经过后续层。如果中间层已经形成充分可靠的决策表示，模型可以提前退出；否则继续计算，直到达到更深出口或完整模型。

形式化地说，设第l层隐藏状态为h_l，门控器输出继续计算的概率为g_l，则有效计算深度可以表示为：

[ D(x)=L\quad \text{with probability } g_{L-1}, ]

[ D(x)=l \quad \text{with probability } \prod_{j=l}^{L-2}(1-g_j)g_l. ]

其中L为最大深度，l为实际退出位置。与固定深度模型相比，系统把“每个请求是否需要更多推理”转化为由隐藏状态驱动的运行时控制问题。

技术机制：为什么采用自蒸馏

联合训练面临一个结构性约束：如果完整模型和浅层子模型完全独立训练，浅层模型必须重复学习大模型后段才能形成的决策映射，成本高，且容易退化为简单模仿。

共享末层和决策头后，子模型只需承担前段特征提取，完整模型则提供后段表征和监督信号。自蒸馏让浅层出口直接学习完整路径的决策分布，同时保留共享参数带来的参数复用与训练协同。

多出口门控还带来一个工程上的好处：计算深度成为可调节资源，而不是固定的模型配置。对于高置信度或结构简单的输入，系统可以早退；对于信息不足、边界模糊或需要更深推理的输入，则自动延长计算链。这种策略与MoE不同，它不是按Token选择不同专家，而是按请求选择同一模型的计算深度。

工程权衡：准确率、延迟与批处理效率

自适应深度最直接的收益是减少无效层计算。对于拥有L个Transformer层的模型，如果大量样本在第l层退出，理论上的有效层计算量可近似从O(L)降至O(l)。但实际收益不会严格按比例转化，原因包括：

• Transformer层的实际耗时还受注意力、归一化、内存带宽和算子调度影响；减少层数通常有帮助，但不能简单等同于相同比例的墙钟延迟下降。
• 动态退出路径会增加批处理复杂度。若同一批次中的样本深度不同，运行时需要处理不同执行分支，可能降低GPU利用率。
• 门控器本身会增加少量额外计算和同步开销。
• 若门控判断不可靠，过早退出会造成精度损失；过度保守地晚退则接近固定深度模型，失去效率优势。

因此，这类系统更适合对尾延迟和单位请求成本敏感、且样本难度分布不均匀的决策场景，例如分类、路由、风险判断和控制策略选择。对于需要严格批处理一致性的离线任务，也应比较动态分支与固定早退版本的吞吐差异。

评测表现与局限

论文在七个决策基准上比较了自适应方法与不同深度的独立训练模型，报告其在各个深度均达到相当或更优的准确率，并获得更好的准确率—效率折中。

不过，摘要未提供完整的基准组成、模型规模、硬件环境、批大小、延迟统计和置信区间，因此目前无法判断结果来自算法本身的收益，还是部分来自特定实现与数据分布。还需关注以下问题：

• “最终六层可移除”是否对不同模型宽度、任务类型和标签噪声保持稳定；
• 门控器是否会在分布外样本上过早退出；
• 联合训练是否显著增加显存占用、优化器状态或训练时间；
• 动态退出是否能在真实服务框架中实现高效批处理，而非只在单样本延迟上受益；
• 与蒸馏、早退、层剪枝、MoE和投机解码等替代方案的横向成本如何。

开发者落地建议

如果要复现或集成这一思路，建议先从已有Transformer骨干加入浅层分类头开始，而不是直接训练多个完整模型。训练阶段可采用全深度教师与多层学生共享末层，在各出口同时计算蒸馏损失，并加入轻量的门控正则项，避免门控塌缩为始终早退或始终晚退。

部署阶段应至少报告以下指标：

• 平均实际退出层数与计算量分布；
• P50、P95和P99端到端延迟；
• 不同batch size下的吞吐与GPU利用率；
• 各难度分桶的准确率—延迟曲线；
• 门控误判导致的早退错误率；
• 与固定深度模型及蒸馏模型相比的显存和能耗。

生产环境还可设置最大深度回退策略：当低置信度或分布外输入触发时，强制执行完整模型路径，以较低平均成本换取尾部可靠性。总体而言，这项工作的价值不在于创造新的决策架构，而在于证明LLM决策模型可以通过共享计算与动态深度获得更合理的系统效率。

---

消息来源：Hugging Face Daily Papers (2026-11-12)

—— 完 ——

主题标签： #LLM 关注 #自适应计算 关注 #多出口架构 关注 #自蒸馏 关注 #System One决策 关注