ArXiv研究揭示：有效学习率主导语言模型预训练中的损失动态

摘要：ArXiv团队的最新研究揭示了语言模型预训练中损失动态的关键机制：有效学习率（ELR），即学习率与参数范数的比值，主导了训练过程中的损失变化。研究表明，当不同训练运行的ELR匹配时，即使学习率和参数范数差异显著，其损失轨迹在整个训练过程中也会趋于一致。这一发现跨越了优化器、架构、数据集和模型规模，展示了ELR作为连接学习率调度、范数控制和损失动态的通用坐标的重要性。

---

研究背景与动机

在语言模型的预训练过程中，学习率（Learning Rate, LR）和参数范数（Parameter Norm）是影响模型训练效率和最终性能的关键因素。然而，传统观点认为它们的影响是独立的，而ArXiv团队的最新研究揭示了它们之间更深层次的关联：有效学习率（Effective Learning Rate, ELR）。

主要发现

1. ELR的定义与作用

   • ELR被定义为学习率与参数范数的比值。
   • 研究表明，ELR是主导损失动态的关键因素，而非单独的学习率或参数范数。

2. 损失轨迹的坍缩现象

   • 当不同训练运行的ELR匹配时，即使学习率和参数范数差异显著，其损失轨迹在整个训练过程中也会趋于一致。
   • 这种坍缩现象在不同优化器、架构、数据集和模型规模下均表现一致，平均坍缩误差仅为几倍10^-3，低于种子间变异的典型水平。

3. 关键影响因素

   • 归一化设计：归一化方法的选择对ELR的精度有显著影响。
   • LR-范数变化的时间尺度：LR和范数变化的速度也会影响ELR的精度。

4. ELR的应用与扩展

   • 通过将LR替换为ELR，研究人员能够将拟合的功能缩放定律（FSL）跨范数控制方法进行迁移。
   • ELR还解释了范数控制中常见的延迟加速现象。

技术亮点

• 跨优化器、架构和数据集的普适性：ELR的影响在不同的实验设置下均表现一致，展示了其作为通用坐标的潜力。
• 损失轨迹的坍缩现象：这一现象为理解预训练过程中的损失动态提供了新的视角。
• ELR的应用潜力：ELR不仅有助于解释现有现象，还为优化学习率调度和范数控制提供了新的思路。

行业影响与开发者建议

• 优化训练策略：开发者可以利用ELR来优化训练过程中的学习率调度和范数控制，从而提升训练效率和模型性能。
• 跨领域应用：ELR的概念可以扩展到其他领域，如强化学习和迁移学习，为这些领域的训练策略提供新的见解。
• 进一步研究的方向：未来的研究可以探索ELR在不同类型的模型和任务中的表现，以及其在更大规模数据集上的适用性。

结论

ArXiv团队的研究揭示了ELR在语言模型预训练中的关键作用，为理解损失动态和优化训练策略提供了新的理论依据和技术路径。

---

消息来源：ArXiv cs.LG (2026-08-25)

—— 完 ——

主题标签： #有效学习率 关注 #语言模型 关注 #预训练 关注 #损失动态 关注 #ArXiv 关注