智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #AuroOFT #量化正交微调 #低比特模型 #参数高效适配

AuroOFT:突破量化正交微调局限,实现高效非线性残差适配

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 12 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AuroOFT是一种新型量化正交微调(qoft)方法,通过在每个适配的线性层附加零初始化的门控低秩非线性残差,突破了传统qoft仅支持线性正交变换的局限。该方法在保持量化兼容性的同时,引入了基于RMS归一化的紧凑潜在空间映射和自适应非线性基函数,从而提升了模型在任务上的表现。在1.5B/3B Qwen2.5设置下,AuroOFT在Macro-6指标上相较qoft提升了1.30-2.70%,并相较QLoRA节省了32.3-44.7%的可训练参数。该研究为低比特语言模型的参数高效适配提供了新的技术路径。


突破量化正交微调局限:AuroOFT的创新方法

量化正交微调(qoft)是一种用于低比特语言模型的参数高效适配方法,通过学习结构化的激活旋转来适配冻结的量化权重。然而,qoft的任务特定更新仅限于线性正交变换,限制了输入依赖的非线性校正能力。AuroOFT通过以下创新解决了这一问题:

  • 非线性残差适配:在每个适配的线性层附加零初始化的门控低秩非线性残差。
  • RMS归一化潜在空间:将激活映射到RMS归一化的紧凑潜在空间。
  • 自适应非线性基函数:使用有界或基于token的门控自适应非线性基函数。

技术亮点

  1. 零初始化上投影:AuroOFT在初始化时与qoft功能相同,确保了模型的稳定性。
  2. 分支级正交性:正交性作为分支级的稳定性属性,而非组合非线性层的属性。
  3. 性能提升:在1.5B/3B Qwen2.5设置下,AuroOFT在Macro-6指标上相较qoft提升了1.30-2.70%,并相较QLoRA节省了32.3-44.7%的可训练参数。

行业影响与开发者建议

AuroOFT为低比特语言模型的参数高效适配提供了新的思路,尤其适用于资源受限的应用场景。开发者可以尝试将AuroOFT集成到现有的微调流程中,以提升模型性能并降低计算成本。此外,AuroOFT的代码已在匿名仓库中公开,开发者可以参考并进一步优化。

未来展望

随着AuroOFT的发布,未来的研究可以进一步探索其在更大规模模型和多模态场景中的应用潜力。此外,如何在保持性能的同时进一步降低计算成本,也是值得深入研究的方向。

原文链接:AuroOFT: Beyond Rotations for Expressive Quantized Orthogonal Fine-Tuning

—— 完 ——

主题标签: #AuroOFT #量化正交微调 #低比特模型 #参数高效适配

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…