Stiefel Attention:基于黎曼优化改进Transformer注意力机制
摘要:arXiv发布了一项关于改进Transformer注意力机制的研究,提出将查询和键投影矩阵约束在Stiefel流形上,并使用黎曼Adam优化器进行训练。该方法通过四个命题证明了其更新过程是最速下降、不依赖梯度尺度、具备良好条件性且完全O(d)-等变。研究表明,这种方法在模块化算术推理和CIFAR-10图像分类任务中表现优异,验证集准确率分别提升了35.9%和8.98个百分点。研究还指出,权重衰减在Stiefel流形上具有零黎曼梯度,从而避免了模型崩溃问题。
研究背景与动机
在Transformer模型中,注意力机制的核心是查询(Q)和键(K)投影矩阵,这些矩阵通常使用欧几里得优化器进行训练,而没有对其几何结构进行约束。这可能导致训练过程中的不稳定性和次优解。为了解决这一问题,研究者提出将Q和K投影矩阵约束在Stiefel流形上,并使用黎曼Adam优化器进行训练。
方法与创新
- Stiefel流形约束:将Q和K投影矩阵约束在Stiefel流形上,即保持矩阵的正交性。
- 黎曼Adam优化器:使用黎曼Adam优化器进行训练,该优化器在每一步更新中考虑流形的几何结构。
- 理论证明:通过四个命题证明了该更新过程是最速下降、不依赖梯度尺度、具备良好条件性且完全O(d)-等变。
- 权重衰减的影响:研究表明,权重衰减在Stiefel流形上具有零黎曼梯度,从而避免了模型崩溃问题。
实验结果
- 模块化算术推理:在模块化算术推理任务中,单次运行在20000个epoch时的验证集准确率为97.0%,而基线方法的准确率为61.1%。
- CIFAR-10图像分类:在CIFAR-10图像分类任务中,该方法相较于基线方法在12次配对启动中平均提升了8.98个百分点,且随着数据量的增加,差距进一步扩大。
结论与影响
这项研究展示了将注意力机制投影矩阵约束在Stiefel流形上并使用黎曼优化器进行训练的潜力,特别是在提高模型稳定性和性能方面。研究结果对Transformer模型的进一步优化具有重要意义,并为未来的研究提供了新的方向。
开发者建议
- 尝试黎曼优化:对于需要高稳定性和精确性的任务,开发者可以尝试使用黎曼优化器来训练注意力机制。
- 关注流形约束:在设计新的模型架构时,可以考虑对特定矩阵进行流形约束,以提升模型性能。
- 深入理解权重衰减:理解权重衰减在不同流形上的影响,有助于更好地控制模型训练过程。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-09-18)
主题标签: #Stiefel流形 #黎曼优化 #Transformer #注意力机制 #深度学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区