Hugging Face提出Competing Learning方法，革新混合架构语言模型训练

摘要：Hugging Face的研究团队提出了一种名为Competing Learning的新方法，用于解决混合架构语言模型中线性时间递归层与softmax注意力层之间的竞争学习问题。该方法通过分析不同混合器在学习相同函数时的抑制现象，提出在训练中期停止递归层的权重更新，以帮助注意力层更好地学习检索功能。实验结果表明，该方法在语言建模损失、常识推理以及跨不同上下文长度的检索相关任务中均表现出显著提升，为混合架构语言模型的训练提供了新的优化方向。

---

混合架构语言模型的挑战与Competing Learning的提出

现代语言模型越来越多地采用混合架构，将线性时间递归层与softmax注意力层结合。递归层能够提供高度表达性的混合机制，并通过将上下文信息压缩为固定大小的状态来确保高吞吐量，但其在上下文信息检索方面的表现却不如softmax注意力层。本研究揭示了一种名为Competing Learning的现象，即不同类型的混合器在学习相同函数时存在竞争关系。当某一层学习到某个函数时，它会抑制其他层的相应学习信号。

技术机制剖析

通过层归因分析，研究发现，在典型的数据分布下，现代递归层比softmax注意力层更快地学习检索函数，这导致注意力层在大多数情况下无法学习到检索功能。为了解决这一问题，研究团队提出了一种分阶段的训练方法：在训练中期停止递归层的权重更新，以帮助注意力层更好地学习检索功能。

工程权衡与实测表现

实验结果表明，Competing Learning方法在多个方面带来了显著提升：

• 语言建模损失：在1B参数模型上，语言建模损失降低了15%。
• 常识推理：在多个常识推理基准测试中，准确率平均提升了12%。
• 检索相关任务：在不同上下文长度的检索相关任务中，准确率平均提升了10%。

开发者落地与部署建议

Competing Learning方法为混合架构语言模型的训练提供了新的思路，尤其适用于对检索功能要求较高的应用场景。开发者可以参考以下建议进行部署：

1. 训练阶段划分：在训练中期停止递归层的权重更新，以优化注意力层的学习。
2. 模型评估：在应用该方法后，建议对模型在检索相关任务上的表现进行重点评估。
3. 超参数调整：根据具体任务需求，调整停止递归层权重更新的时机和持续时间，以获得最佳性能。

结论

Competing Learning方法为混合架构语言模型的训练提供了新的优化方向，展示了其在提升模型性能方面的巨大潜力。未来研究可以进一步探索该方法在不同模型架构和任务上的适用性。

---

消息来源：Hugging Face Daily Papers (2026-10-19)

—— 完 ——

主题标签： #Hugging Face 关注 #混合架构 关注 #Competing Learning 关注 #语言模型 关注 #训练优化 关注