智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #优化器 #低秩矩阵 #梯度下降 #Adam #机器学习

Adam优化器在低秩矩阵感知任务中的行为研究:揭示梯度下降偏差

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:一项关于Adam优化器的研究揭示了其在处理低秩矩阵感知任务时与梯度下降(GD)的行为差异。研究发现,Adam的逐坐标二阶矩特性使其无法保持GD的隐式低秩偏差,而通过调整Adam的归一化参数,可以显著改善其在低秩任务中的表现。此外,研究还探讨了Muon优化器在低秩目标上的表现,并提出了一种基于全局范数裁剪的改进方法,有效降低了恢复误差。


研究背景与动机

在机器学习优化领域,梯度下降(GD)因其隐式低秩偏差而被广泛使用。然而,Adam优化器由于其逐坐标的二阶矩特性,在处理低秩矩阵感知任务时表现出了与GD不同的行为。这种差异引发了关于Adam在低秩任务中适用性的讨论。

研究方法与发现

研究通过在欠定矩阵感知任务中运行九种更新规则,比较了它们在匹配训练损失下的表现。结果显示,GD、共享标量Adam、Muon和Shampoo保持了低秩偏差,而Adam、RMSProp、Lion、signum和Adafactor则失去了这种偏差。

研究发现,Adam的逐坐标二阶矩是导致其失去低秩偏差的主要原因。通过将Adam的分母从逐坐标调整为单一共享标量,恢复效果逐渐提高,这表明问题在于各向异性而非适应性本身。

Muon优化器的表现

Muon优化器在真正低秩目标上表现精确,但随着频谱尾部的增加,其性能迅速下降,并在约4%的尾部能量处与GD发生交叉。研究发现,Muon在处理深度线性模型时可能会拟合虚假特征,这与近期研究中的分歧一致。

改进方法

研究还探讨了作者早期提出的优化器,发现其逐坐标裁剪破坏了其旨在注入的结构。通过采用全局范数裁剪,恢复误差从0.347降至0.220,显著提升了性能。

实验与结论

实验使用了仅训练学习率规则,该规则在超光谱数据上实现了43-44%的留出误差减少。然而,该规则在Adam自己的网格上给出了最差的学习率。尽管如此,研究强调,机制是研究的核心,而非具体数字。

理论局限性

理论仅涵盖无记忆规则,动量是经验性的,而非理论证明。

未来工作

未来的研究可以进一步探讨不同优化器在各种低秩任务中的表现,并开发更有效的改进方法。

结论

这项研究揭示了Adam优化器在低秩矩阵感知任务中的行为特性,并提出了改进方法,为优化器设计提供了新的见解。

参考文献


消息来源:Reddit r/MachineLearning (2026-08-12)

—— 完 ——

主题标签: #优化器 #低秩矩阵 #梯度下降 #Adam #机器学习

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…