ProLand发布：新型无回缩优化器提升LoRA微调效率

摘要：ProLand是一种新型的无回缩优化器，通过结合协调因子更新与Muon风格的光谱方向，显著提升了低秩适应（LoRA）微调的效率。该方法通过在权重增量空间中进行优化设计，将目标优化与正交性恢复分离，从而实现更高效的可行性恢复。实验结果表明，ProLand在多个语言模型和基准任务中均表现出色，在GLUE和Qwen2.5-3B等模型上取得了最高的平均得分。

---

技术机制剖析

ProLand是一种针对LoRA微调的新型无回缩优化器，其核心机制包括以下方面：

1. Stiefel流形约束：通过将基因子约束到Stiefel流形上，ProLand解决了LoRA中常见的基方向冗余问题，确保了正交性。
2. 无回缩优化：传统方法在每一步迭代中需要回缩到流形上，而ProLand允许暂时不可行的迭代点探索流形的邻域，同时逐步恢复正交性，避免了每步的回缩操作。
3. 协调因子更新与Muon风格光谱方向：ProLand通过在权重增量空间中进行协调因子更新，并结合Muon风格的光谱方向，将目标优化与正交性恢复分离。这种设计不仅提高了优化效率，还支持更高效的可行性恢复。

工程权衡与实测表现

ProLand在多个基准测试中表现出色：

• GLUE验证任务：在DeBERTa-v3-base模型上，ProLand在四个GLUE任务中均取得了最高平均得分。
• 语言模型基准：在Qwen2.5-3B、Llama-3.2-3B和Moonlight-16B-A3B等模型上，ProLand在七个语言基准任务中表现优异，尤其是在多适配器秩配置下。

实验结果表明，ProLand在保持正交性的同时，显著提升了优化效率。与现有方法相比，ProLand在所有测试的配置中均表现出色，展示了其在LoRA微调中的巨大潜力。

开发者落地与部署建议

对于开发者而言，ProLand提供了一种高效的LoRA微调解决方案。以下是一些建议：

1. 模型适配：ProLand可以与多种语言模型适配，建议在资源受限或需要高效微调的场合优先考虑使用。
2. 参数配置：根据具体任务需求调整适配器秩和优化参数，以获得最佳性能。
3. 性能监控：在训练过程中监控正交性和目标优化的平衡，确保模型在高效优化的同时保持良好的泛化能力。

ProLand的发布为LoRA微调领域带来了新的突破，特别是在处理复杂任务和大规模模型时，其优势更加明显。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-03)

—— 完 ——

主题标签： #ProLand 关注 #LoRA 关注 #优化器 关注 #微调 关注 #无回缩 关注