跳到主内容
智客 ZICQ

智客百科 技术术语

LoRA(低秩适配)

技术术语
别名: Low-Rank Adaptation 低秩适配 PEFT ·2026-10-10

LoRA(Low-Rank Adaptation,低秩适配)

**LoRA(Low-Rank Adaptation,低秩适配)是微软团队于 2021 年提出的一种大语言模型参数高效微调(PEFT, Parameter-Efficient Fine-Tuning)**技术。它通过冻结预训练模型的原权重矩阵,仅在旁路引入低秩矩阵分解来建模参数更新量,能够在仅训练 0.1% ~ 1% 参数量的情况下逼近全参数微调的下游任务性能。

理论基石:内在秩假设

过参数化(Over-parametrized)的基础模型包含海量参数,但理论研究表明,当模型适应特定下游任务时,其参数梯度的更新量 $\Delta W$ 实际停留在维度极低的**内在子空间(Intrinsic Rank)**中。因此,完全没有必要在微调时更新每一个稠密参数。

数学机制与前向传播

给定冻结的预训练稠密权重矩阵 $W_0 \in \mathbb{R}^{d \times k}$,LoRA 将权重增量 $\Delta W$ 分解为两个低秩矩阵的乘积:

$$\Delta W = \frac{\alpha}{r} (B \cdot A)$$

其中:

  • $A \in \mathbb{R}^{r \times k}$:降维矩阵,使用均值为 0 的高斯分布初始化;
  • $B \in \mathbb{R}^{d \times r}$:升维矩阵,初始化全为 0;
  • $r \ll \min(d, k)$:低秩维度(Rank),通常设为 4、8、16、32 或 64;
  • $\alpha$:常数缩放因子,调整低秩更新对主分支输出的权重影响。

在前向计算中,输入向量 $x$ 同时流经主干与旁路,输出求和:

$$h = W_0 x + \Delta W x = W_0 x + \frac{\alpha}{r} B A x$$

由于初始状态下 $B = 0$,训练开始时刻有 $\Delta W = 0$,保证了训练初期的前向传播输出完全与原生预训练模型一致,避免产生突变扰动。

关键超参数与最佳工程实践

  1. 秩(Rank, $r$):
    • 简单指令遵循、情感分类或格式提取任务,$r = 8$ 至 $16$ 通常已足够;
    • 复杂数学推理、多语言翻译或专业代码生成任务,建议提升至 $r = 32$ 或 $64$。
  2. 缩放系数($\alpha$):
    • 约定俗成的标准配置是 $\alpha = 2r$ 或 $\alpha = r$,在调整 $r$ 时保持缩放强度相对稳定,避免频繁调整学习率。
  3. 目标微调层(Target Modules):
    • 早期做法仅微调注意力层($W_q, W_v$);
    • 现代前沿实验表明,全线性层微调(Attention 的 $W_q, W_k, W_v, W_o$ 加上 FFN 的 $W_{\text{gate}}, W_{\text{up}}, W_{\text{down}}$)能提供更强大的表达容量,且综合表现最接近全量微调。

工业部署优势:零延迟合并与多租户支持

  • 零额外推理延迟:微调完成后,可直接执行张量加法将权重永久融合:

    $$W_{\text{deploy}} = W_0 + \frac{\alpha}{r} BA$$

    生产环境中直接载入融合后的静态权重,完全不增加推理阶段的计算复杂度与延迟。

  • 多租户热插拔(Multi-LoRA Serving):在企业多业务场景下,单个 GPU 集群只需驻留一份基础模型底座(如 70B),为不同部门加载独立的小型 LoRA 权重文件(仅几十 MB 至几百 MB),通过动态路由实现高效多任务支持。

衍生进阶技术

  • QLoRA:将基座模型量化为 4-bit NormalFloat(NF4),配合双重量化(Double Quantization)与分页优化器(Paged Optimizers),使得单张 24GB 消费级显卡(如 RTX 3090/4090)即可微调 70B 级别大模型。
  • DoRA(Weight-Decomposed Low-Rank Adaptation):将权重显式分解为幅度向量与方向矩阵,仅对方向部分做低秩适配,进一步缩小与全参数微调在复杂任务上的泛化差距。

进一步阅读