智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Geo-LoRA #持续学习 #低秩适配 #几何控制 #ArXiv

ArXiv提出Geo-LoRA框架:革新持续学习中的低秩适配几何控制

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 15 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为Geo-LoRA的新框架,旨在解决持续学习中低秩适配子空间的几何控制问题。Geo-LoRA通过引入子空间投影保持(SPP)和自适应核心松弛对齐(ACSA)等技术,约束共享和任务特定子空间的更新轨迹,从而平衡稳定性和可塑性。此外,任务特定分支采用中值校准块重叠(MCBO)机制,以减少子空间拥挤现象。实验结果表明,Geo-LoRA在多个基准数据集上均实现了最先进的性能,为持续学习中的低秩适配提供了新的理论框架。


背景与挑战

持续学习(Continual Learning)旨在让模型能够逐步学习新任务,同时避免遗忘旧知识。然而,使用低秩适配(LoRA)适配器进行无重演的类增量学习(CIL)面临诸多挑战,尤其是子空间的几何控制问题。传统的LoRA适配器在任务间更新时缺乏几何约束,导致共享表示不稳定,任务特定更新容易陷入之前占据的方向,造成性能下降。

Geo-LoRA的核心创新

Geo-LoRA通过以下创新机制解决了上述问题:

  1. 子空间投影保持(SPP):

    • 在共享分支中,SPP约束连续更新在Grassmann流形上遵循平滑轨迹,确保子空间更新的一致性和稳定性。
  2. 自适应核心松弛对齐(ACSA):

    • 将过渡分解为主成分和残差成分,对主成分进行对齐,同时调节残差成分以平衡稳定性和可塑性。
  3. 中值校准块重叠(MCBO):

    • 在任务特定分支中,通过归一化投影重叠施加统计约束,惩罚过度重用,缓解子空间拥挤问题。

这些约束共同调节所有LoRA子空间在层和任务间的演化,而无需引入标准LoRA之外的适配器类型。

实验结果

Geo-LoRA在多个基准数据集上进行了测试,包括CIFAR-100、ImageNet-Subset等。结果表明,Geo-LoRA在任务间的知识迁移和稳定性方面均优于现有方法,展示了其在持续学习中的强大性能。

行业影响与开发者建议

  • 持续学习领域的突破:Geo-LoRA为持续学习中的低秩适配提供了新的理论框架,有助于开发更高效、更稳定的模型。
  • 多任务学习中的应用:该框架可扩展至多任务学习场景,帮助模型在处理复杂任务时保持高性能。
  • 开发者建议:建议研究人员和工程师在设计持续学习模型时,考虑子空间几何控制的重要性,并尝试将Geo-LoRA框架集成到现有系统中以提升性能。

消息来源:ArXiv cs.CV (2026-08-27)

—— 完 ——

主题标签: #Geo-LoRA #持续学习 #低秩适配 #几何控制 #ArXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…