智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #模型合并 #任务向量 #方向导数 #无标签优化 #LoRA

LR-Merge以接收模型局部导数预测并校正模型合并干扰

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:论文把模型合并的干扰估计从“合并后逐个评测”前移为接收模型处的一阶方向导数。该导数可按任务、按样本预测邻近合并,在视觉实验中把相对无变更基线的准确率误差减半,并识别多数预测翻转样本。LR-Merge冻结接收模型局部响应,得到关于合并系数的仿射代理,再用无标签探针上的凸教师匹配优化系数,无需反传穿过合并网络。该方法可改进闭式、各向同性和稀疏化基线;但完整多任务合并需要沿路径两次评估,绝对指标、方差与代码仍待核验。


核心结论

模型合并的主要成本通常不在于把任务向量相加,而在于为每个候选系数重新构建合并模型并逐任务评测。论文将这一步前移:在论文所称的接收模型 θ_R 处,测量任务 A 的输出对任务 B 任务向量的局部敏感度,再据此预测附近合并造成的干扰。摘要报告,在视觉实验中,这一局部导数将相对无变更基线的准确率误差减半,并能识别多数会发生预测翻转的样本。

这不是一个可在任意权重位置直接使用的通用近似。论文同时给出了关键反例:在共享预训练骨干处计算相同导数时,视觉实验中导数几乎与实际变化正交;在 LoRA 语言模型试验中,它也只表现出部分预测力。换言之,干扰信号取决于模型所处的局部参数几何,而不是单纯的参数距离。

一阶方向导数如何预测干扰

设共享预训练骨干为 θ_0,任务 i 的任务向量为 τ_i = θ_i - θ_0,合并模型可写为:

θ_merge(λ) = θ_0 + Σ_i λ_iτ_i

对于任务 A 的输出函数 f_A,论文使用的局部敏感度可以概括为:

D_A←B^R(x) = [d/dε f_A(x; θ_R + ετ_B)]_(ε=0) = J_A(θ_R)τ_B

其中 J_A(θ_R) 是任务 A 输出关于模型参数的 Jacobian,J_Aτ_B 则是沿任务 B 向量的方向导数。它回答的是一个更窄但更实用的问题:如果在当前接收模型附近加入任务 B 的参数方向,任务 A 的每个样本输出会立即朝哪个方向变化、变化多大。

这种预测依赖两个条件。其一,它主要适用于接收模型附近的合并;模型继续微调后,局部切空间和任务间耦合关系可能已经改变。其二,一次线性化不足以覆盖完整的多任务合并路径。论文因此指出,完整多任务场景需要在合并路径上做两次评估,而不是仅依赖一个评估点。对照实验进一步把预训练骨干上的失效归因于接收模型自身任务向量方向上的位移,而非单纯的参数距离;这种失配在最初几十个微调步骤内就会出现。

工程上,如果直接物化输出维度为 O、参数量为 P 的完整 Jacobian,需要 O×P 存储,通常不可行。更可行的实现是使用 JVP、Jacobian-vector product 或有限差分近似,但摘要没有说明论文采用的具体方式、估计误差及额外显存,这些仍是复现时的关键缺口。

LR-Merge:把合并搜索变成凸匹配

LR-Merge 的核心是把接收模型处的局部响应冻结下来,得到一个关于合并系数的仿射代理。其一般形式可写为:

ŷ_i(x; λ) ≈ y_R(x) + G_iλ

其中 y_R(x) 是接收模型在探针样本上的输出,G_i 的各列对应不同任务向量在接收局部的方向响应。任务专属教师模型在探针上的输出则作为匹配目标 t_i(x)。系数可通过无标签探针上的教师匹配优化:

min_λ Σ_i w_i ||ŷ_i(x; λ) - t_i(x)||²

固定代理矩阵后,这一问题可组织为关于合并系数的凸匹配问题。与每个候选系数都重新运行完整合并模型不同,LR-Merge 只需在代理上求解系数,再对少量候选进行精确验证。

“无标签”并不等于“无监督”。方法仍需要输入探针以及各任务教师模型的输出;教师模型自身的偏差也会被代理继承。探针分布若不能覆盖真实流量,代理可能在分布外输入上给出错误建议。因而,探针采样策略和任务间冲突的权重 w_i 会直接影响最终系数。

摘要称,LR-Merge 无需让梯度穿过合并网络。不过,构造接收局部导数是否仍需在接收模型上执行反向传播,以及导数计算、代理装配各自消耗多少算力,摘要没有说明。不能把“不穿过合并网络反传”直接理解为零梯度或零成本。

工程权衡

  • 一次性成本与重复查询之间的交换:构建局部响应和代理需要前期成本,但建成后,新的合并系数和任务子集查询可在秒级完成。它更适合需要反复搜索系数、任务组合或合并路径的场景,而不是只执行一次的简单合并。
  • 局部性带来漂移风险:一阶模型对邻近合并最有效。一旦接收模型继续训练、任务向量重新生成或合并跨度扩大,代理可能失配,需要重新测量,而不能假设早期代理可以长期复用。
  • 多任务合并并非一次求导就够:两个任务时可以主要依赖局部线性关系;任务增多后,跨任务耦合与路径非线性增强,论文要求沿路径进行两次评估。
  • 与精确匹配相比,质量优势并非数量级:论文报告,贯穿合并网络的精确教师匹配收敛约慢三倍,但在相同计算预算下表现相近。这说明 LR-Merge 的主要收益是降低交互延迟并摊薄重复搜索成本,而不是在等算力下必然取得更高最终精度。
  • 架构迁移不能直接照搬:LR-Merge 改进了论文测试的闭式、各向同性和稀疏化基线合并器,但预训练骨干响应会降低基础合并效果,LoRA 试验中的预测力也弱于视觉实验。全参数微调与适配器合并需要分别标定。

评测与实测边界

摘要给出的结果包括:接收模型处的一阶导数可以按任务、按样本预测邻近合并;相对无变更基线,准确率误差减半;该信号可识别多数预测翻转样本;LR-Merge 改进所有测试过的基线合并器,且合并任务越多时收益通常越大;代理建成后,新系数和任务子集查询可在数秒内完成。

这些结果尚不足以证明普遍优于现有合并搜索。首先,“准确率误差减半”是相对指标,不等于合并模型绝对准确率翻倍;“识别多数翻转样本”没有给出精确率、召回率或置信区间。其次,摘要没有披露模型、数据集、任务数量、基线合并器名称、绝对分数、随机种子和统计方差,也没有说明无变更基线的具体定义。再次,“所有受测合并器”可能对应有限实验范围,不能直接外推到其他架构。LoRA 试验只表现出部分预测力,也意味着语言模型场景的证据弱于视觉实验。

因此,该工作当前更适合作为一项有明确机制依据的合并搜索加速方法,而不是已经确立的通用最优方案。后续复现应重点核验导数估计方式、代理构建成本、跨任务系数解耦能力,以及代理在接收模型继续训练后的衰减速度。

开发者落地建议

  1. 优先用于重复搜索场景:当团队需要反复扫描合并系数、任务子集或稀疏掩码时,秒级代理查询才具有明显价值;单次合并可直接使用精确评测。
  2. 构造有代表性的无标签探针集:按任务、输入长度、难度和真实流量分布分层采样,同时保留一个不参与优化的验证探针集,用于检测代理是否只记住探针分布。
  3. 多任务场景使用两个路径锚点:分别在合并路径上选择两个评估点构造代理,并与单点版本做消融,避免把非线性多任务干扰误判为线性可解。
  4. 上线前执行精确复核:对代理给出的候选系数,抽样运行真实合并模型,检查目标任务精度、遗忘程度和预测翻转率;代理只承担搜索,不直接替代验收。
  5. 监控微调漂移:记录接收模型的微调步数、任务向量生成时间和底层模型版本。一旦继续训练或更换任务头,应重建局部响应,而不能沿用旧代理。
  6. 分开验证全参数与 LoRA 场景:LoRA 的低维参数空间并不自动意味着导数更可靠,应分别测量预测误差和代理收益,并与闭式、各向同性、稀疏化等基线逐一比较。

消息来源:ArXiv Machine Learning (cs.LG) (2026-11-21)

—— 完 ——

主题标签: #模型合并 #任务向量 #方向导数 #无标签优化 #LoRA

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…