CurvDelta用低曲率更新守住LLM旧能力,CurvLoRA降低适配成本
摘要:CurvDelta把“学会新能力但不损伤旧能力”写成参数更新的几何约束:在预适配模型附近分析保真损失的局部曲率,用K-FAC近似曲率,并以因子化投影将更新约束到低曲率子空间;低秩版本CurvLoRA进一步减少可训练参数和优化器开销。论文在数学推理、代码生成以及TOFU、MUSE知识遗忘任务上报告了更好的“目标收益—能力保留”平衡,但未给出绝对分数、模型规模、方差和代码状态,尚不足以确认真实遗忘效果与生产收益。
核心结论
CurvDelta并未把能力保持仅写成与目标任务并列的加权正则项,而是将约束直接嵌入参数更新的参数化方式。核心目标不是让更新在所有方向上都很小,而是让更新尽量沿着预适配模型保真损失变化缓慢的方向发生:目标能力可以被学习,邻近的通用能力则尽量留在原几何结构中。CurvLoRA把同一思想落到低秩适配器上,以减少可训练参数和优化器状态。
从保真损失到低曲率子空间
设 θ₀ 为适配前参数,C(θ) 为衡量原能力损失的函数,Δθ 为待学习更新。局部二阶展开可写为 C(θ₀ + Δθ) ≈ C(θ₀) + g₀ᵀΔθ + ½ΔθᵀH₀Δθ。其中 g₀ 是保真损失梯度,H₀ 是局部曲率矩阵。若更新进入高曲率方向,即使位移不大,C 也可能迅速上升;CurvDelta因而寻找低曲率方向,并将候选更新写成 Δθ = Pδ,其中 P 表示几何投影。
“近似不变”不能只看Hessian项:若 g₀ᵀΔθ 的一阶变化没有受到约束,二阶曲率再小也可能改变C。完整论文需要说明P如何同时处理一阶项、保留子空间维数及更新步长。该结论通常只在θ₀附近成立,因此工程实现还应设置trust region、更新范数上限或重投影,而不是把局部曲率当成全局安全证明。
K-FAC如何让几何约束可计算
稠密层曲率不可能直接存储。对权重 W ∈ R^(d_out×d_in),K-FAC类方法通常用输入激活a与该层输出梯度g构造因子化近似 F_layer ≈ E[a aᵀ] ⊗ E[g gᵀ]。完整Fisher型层曲率若按参数维度稠密表示,存储会达到O(d_out²d_in²)量级;因子统计只需O(d_out² + d_in²),再通过特征分解或迭代近似提取低曲率子空间。
K-FAC并不自动消除成本:大模型的因子仍可能很占显存,因子估计需要保留激活和反向梯度,阻尼、收缩与数值稳定性也会影响投影质量。摘要只说明采用“K-FAC近似曲率”,没有交代其曲率对象是经验Fisher、经验Hessian还是二者的近似,也没有给出因子特征分解和投影的精确实现,复现时不能自行假定。
因子化投影与CurvLoRA的经济性
普通LoRA把权重更新写成 ΔW = BA,其中rank r远小于d_in或d_out,可训练参数量约为 O(r(d_in + d_out));但普通LoRA只约束更新秩,并不自动约束更新对保真损失的几何影响。CurvLoRA的关键增量是把低秩更新继续投影到与CurvDelta一致的保真几何中。
因子化投影避免了为每个大矩阵显式保存稠密 P = U Uᵀ。代价是每次训练更新都要额外完成投影或相应矩阵运算;若K-FAC统计在训练中频繁重算,带宽和算力开销可能抵消低秩收益。另一方面,CurvLoRA的秩过低会限制可塑性,秩过高又会削弱约束并增加优化器状态。若最终把BA合并回基础权重,推理路径可与原模型一致;若保留为在线adapter,则仍有额外矩阵乘法与延迟。
一套几何为何能同时服务学习与遗忘
能力学习希望获得新技能,同时保留数学、代码或通用知识;选择性遗忘则希望删除指定知识,同时尽量不扰动其余参数。两者都可写成“目标方向变化+非目标方向保持”的受约束更新,因此同一低曲率投影能够复用。
但低曲率不是隐私级删除保证。它只说明某类非目标损失在局部较稳定,不能证明目标知识已从权重中不可恢复,也不能排除成员推断、提示提取、重新学习或邻近样本推断。论文在TOFU和MUSE上的结果应被视为受控基准上的效用—遗忘平衡,而不是数据删除合规或密码学擦除的证明。
评测证据与不能越过的边界
摘要报告两类结果:数学推理和代码生成上,目标性能具有竞争力,同时比基线更好地保留通用能力;在TOFU和MUSE上,目标遗忘与知识保留的平衡更好,保留表现接近从头训练参考。
这组结论尚不足以做生产决策。材料没有给出基础模型、任务样本量、绝对分数、训练Token与FLOPs、随机种子、方差、基线超参数预算或代码状态,也未展示完整Pareto前沿。尤其适配实验必须把K-FAC统计和投影的额外计算计入总成本,并与普通LoRA、全量微调、正交约束、重放训练等方法按相同数据与算力预算比较;遗忘实验还应加入提取攻击、relearning、canary和从头训练对照。若目标遗忘提升来自更大数据暴露,而不是方法本身,结论将被高估。
部署建议
- 先冻结基座并定义保留集:保留集应覆盖目标能力之外的真实业务分布,遗忘集与保留集严格隔离,避免同一知识点泄漏。
- 把几何统计视为基座级资产:对固定基座版本缓存K-FAC因子;更换基座、上下文模板或重要层后必须重算,并记录阻尼与特征分解配置。
- 优先从CurvLoRA试点:以rank、投影保留维数和更新范数为三个主要旋钮,分别记录目标收益、通用能力下降、显存、训练时长与推理延迟。
- 建立双重验收门槛:适配任务要求目标能力显著提升且保留集非劣;遗忘任务除知识不可回忆外,还要通过提取、重学习和下游行为审计。
- 上线前验证部署形态:若合并权重,确认数值误差与基座一致;若在线挂载adapter,纳入端到端延迟、吞吐和实例成本。
工程判断
CurvDelta的真正价值是把“学会后别忘”从经验性正则推进为可投影的参数几何,并把K-FAC与低秩适配接到可执行路径上。它适合持续微调、领域适配和受控遗忘的研发验证,但当前摘要更像方法与初步结果声明,而不是完整的生产证据。是否采用,应由可复现的保留—遗忘Pareto曲线、单位训练成本和真实删除审计共同决定。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-18)
主题标签: #CurvDelta #CurvLoRA #K-FAC #模型遗忘 #能力保持
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区