Hugging Face揭示门控序列模型中近零嵌入问题：训练停滞原因及解决方案

摘要：Hugging Face的研究揭示了门控序列模型（如Mamba、Gated DeltaNet、xLSTM）中普遍存在的近零嵌入问题，该问题会导致训练停滞甚至崩溃。研究发现，未绑定的嵌入表在预训练过程中容易出现嵌入向量范数极小的情况，尤其在处理罕见或模板化token时，AdamW权重衰减会加剧这一问题。当输入为零时，SiLU门控函数或线性查询会失效，导致历史状态读取被抑制，进而引发梯度爆炸，最终导致PyTorch等框架的全局范数裁剪机制失效。研究提出了两种解决方案：针对已发布的检查点，GroupClip通过64位或重新缩放范数解耦输入嵌入裁剪；针对预训练，GateFloor通过在零输入时保持门控函数为正，显著减少了近零梯度的出现。实验表明，这些方法有效解决了问题，同时保持了与基线相当的困惑度。

---

问题背景

在门控序列模型（如Mamba、Gated DeltaNet、xLSTM）的预训练过程中，研究人员发现了一个普遍存在的问题：近零嵌入（Near-Zero Token Embeddings）。这种现象表现为嵌入向量的范数极小，通常低于10^-6。这种情况在处理罕见或模板化token时尤为明显，因为这些token在训练过程中接收到的输入梯度为零，而AdamW权重衰减会进一步缩小未绑定嵌入的范数。

技术机制剖析

当输入为零时，SiLU门控函数或线性查询会失效，导致历史状态读取被抑制。这种情况下，残差RMS值会低于RMSNorm地板的平方根，导致Pre-RMSNorm层每层将反向梯度放大高达10^3。当梯度条目超过1.84×10^19时，PyTorch、Hugging Face Trainer和FSDP2的FP32全局范数裁剪机制会溢出到无穷大，导致当前批次的梯度被置零。这种现象在Nemotron-3-Nano-4B的泰卢固语持续预训练中尤为突出，导致约20%的步骤更新被丢弃，触发行被冻结。

解决方案

1. GroupClip：针对已发布的检查点，GroupClip通过使用64位或重新缩放范数解耦输入嵌入裁剪。其重新缩放实现消除了更新损失，并在一步操作中愈合了触发行，测量到的端到端开销可以忽略不计。

2. GateFloor：针对预训练，GateFloor通过在零输入时保持门控函数为正（SiLU(z) + δ, δ ∈ [0.01, 0.1]），在实验中将近零梯度减少了28个数量级，参数规模高达3.7亿，同时保持了与基线相当的困惑度。

工程权衡与实测表现

GroupClip和GateFloor的引入虽然增加了少量的计算开销，但有效解决了训练停滞问题，避免了梯度爆炸对模型训练的破坏。实验结果表明，这些方法在不影响模型性能的情况下，显著提升了训练的稳定性和可靠性。

开发者落地与部署建议

对于开发者而言，建议在模型预训练和微调过程中引入GroupClip和GateFloor，以防止近零嵌入问题对训练过程的影响。此外，建议在模型部署前进行充分的测试，以确保这些方法在实际应用中的有效性。

结论

Hugging Face的研究揭示了门控序列模型中一个重要的训练瓶颈，并提出了有效的解决方案。这不仅有助于提升模型的训练效率和稳定性，也为未来的模型设计提供了新的思路。

---

消息来源：Hugging Face Daily Papers (2026-11-03)

—— 完 ——

主题标签： #Hugging Face 关注 #门控序列模型 关注 #训练稳定性 关注 #梯度爆炸 关注 #模型优化 关注