Deletion Tuning：仅删除0.05%权重即可完成LLM后训练

摘要：研究提出 Deletion Tuning：只在 Transformer 门控投影上学习二值掩码，将不足 0.05% 的预训练权重置零，不更新其他参数，便在可验证奖励强化学习、监督微调和同策略蒸馏三种后训练流程中达到全参数微调的效果。其掩码比完整检查点小数百至数千倍，在强化学习场景中还将旧任务准确率的下降控制在接近基础模型的水平。论文还从稳定秩、频谱漂移和主权重重叠解释其效果，为低成本后训练与缓解持续学习遗忘提供了新路径，但结论仍需结合模型规模、训练预算和独立复现核验。

---

核心发现：后训练不等于必须更新全部权重

Deletion Tuning 将模型后训练改写为一个稀疏决策问题：冻结预训练模型，只在 Transformer 门控投影矩阵上学习二值掩码，并把被选中的权重置零。论文称，少于 0.05% 的模型权重发生结构性变化，即可让模型获得新能力，并在三类流程中达到全参数微调（FFT）的效果：

• 基于可验证奖励的强化学习（RLVR）；
• 监督微调（SFT）；
• 同策略蒸馏（on-policy distillation）。

这意味着方法并未构造传统意义上的低秩更新，也不依赖 LoRA 的低秩乘积结构。其核心假设是：对已经具备通用能力的预训练模型，新增任务所需的有效调整可能集中在少数门控投影参数上；删除其余冗余能力对应的路径，比同时重写全部参数更有利于保留旧任务行为。

技术机制：门控投影上的二值掩码

对于门控投影权重 (W)，Deletion Tuning 可抽象为：

[ W_{\theta}^{\prime} = W_0 \odot (1-M), \qquad M_{ij}\in{0,1} ]

其中 (W_0) 是冻结的预训练权重，(M) 是可训练的二值掩码，(W_{\theta}^{\prime}) 是最终部署权重。训练过程中并不直接优化连续权重，而是决定哪些门控投影元素应被归零。

门控投影位于 Transformer 的条件计算路径中，能够控制残差分支或专家路径对隐藏状态的影响。与删除普通线性层参数相比，选择门控投影具有明确的网络结构含义：它不是任意制造稀疏性，而是在调节信息通路的开关状态。

二值掩码可通过连续松弛、阈值化或可微近似进行优化，但真正部署时只需保存置零位置。若掩码采用位图或紧凑索引，其存储量可远低于完整 FFT 检查点；论文报告的数百至数千倍体积优势，主要来自保存参数选择结果而不是稠密权重增量。

为什么掩码可以逼近全参数微调

论文没有把结果简单归因于“稀疏正则化”，而是从更新几何入手，对比 Deletion Tuning、LoRA 与随机稀疏微调，并使用三个指标分析其与 FFT 的距离：

稳定秩

稳定秩用于刻画矩阵有效方向数量，常见定义为：

[ \operatorname{sr}(W)=\frac{|W|_F^2}{|W|_2^2} ]

FFT 往往允许权重矩阵产生更丰富的谱结构变化；Deletion Tuning 的更新方向更受限，但论文报告它在稳定秩指标上更接近 FFT，而 LoRA 和随机稀疏微调偏离更大。这暗示低秩并不必然是模拟 FFT 的最佳手段，结构位置与更新形态可能比参数数量更重要。

频谱漂移

频谱漂移衡量训练前后权重矩阵能量在奇异值方向上的重新分布。若稀疏删除只产生少量结构性变化，理论上应比随机稀疏更新更接近真实微调谱；但如果任务确实需要改变多个方向，硬性二值化也会形成表达瓶颈。

主权重重叠

主权重重叠用于比较不同方法重点调整的主要权重方向。Deletion Tuning 与 FFT 的主方向更接近，说明其掩码并非任意删去少量参数，而是在定位对后训练任务更关键的坐标。

工程权衡：更小检查点不等于更低训练成本

Deletion Tuning 的优势首先体现在部署与存储，而不是自动降低训练成本。

存储与传输

FFT 通常需要为每个任务保存完整模型副本；LoRA 只保存低秩增量，Deletion Tuning 则只保存门控投影中的掩码。对于任务频繁切换、边缘设备需要保存多个微调版本，或模型需要通过低带宽网络分发的场景，掩码可以显著缩小增量产物。

训练开销

二值参数并不天然比连续参数更易优化。搜索过程仍可能需要大量前向与反向传播；如果掩码通过逐元素门控、阈值化或组合优化获得，训练显存、计算量和超参数敏感度可能接近或高于普通 LoRA。论文摘要没有完整披露掩码优化器、训练步数、显存和吞吐量，因此不能仅凭检查点更小推断训练更快。

表达能力

掩码只能删除权重，不能像 FFT 一样直接增加新数值。适合该方法的任务需要其新增能力能够通过“关闭部分既有通路”实现。对高度依赖新知识、输出格式或明显新计算规则的任务，完全覆盖的稀疏更新可能更有优势。

持续学习：减少旧能力遗忘

论文最有工程价值的结论之一发生在 RLVR 场景：Deletion Tuning 的旧任务准确率保持在接近基础模型的水平，而 FFT、LoRA 和随机稀疏微调最多下降 5.4 个百分点。

这并不意味着它消除了灾难性遗忘。冻结主权重仍然不保证旧能力完全不受影响，因为删除门控分支可能改变其他任务依赖的计算路径；其优势来自更新约束，而非“完全不训练”。更准确的判断是：在论文测试范围内，该方法将后训练引入的旧任务退化控制在较小范围。

对于持续微调系统，它还带来一个部署优势：任务版本可以表示为稀疏掩码，而不必长期保存多个稠密模型副本。不过，掩码之间是否可安全组合、多个任务共同删除同一路径时是否发生冲突，仍需专门验证。

评测可信度与待验证问题

论文覆盖三类后训练制度，比只报告单一 SFT 基准更完整，但摘要中的“与 FFT 匹敌”仍需逐项核验：

• 模型规模与架构覆盖：不同参数量、上下文长度及 Dense/MoE 架构上是否保持一致；
• 训练预算对齐：FFT、LoRA、随机稀疏和 Deletion Tuning 是否使用相同数据、步数与算力；
• 统计显著性：能力提升、遗忘下降和方差是否优于多次重复实验；
• 基线完整性：是否包含更合适的参数高效微调方法，如稀疏专家、mask-based tuning 和现代低秩适配器；
• 推理成本：门控投影被稀疏化后，矩阵乘法是否仍执行稠密计算。如果只是存储稀疏而计算仍稠密，速度收益将局限于分发和版本管理。

此外，“删除少量权重即可获得新能力”的解释可能依赖任务与预训练模型的匹配程度。若新任务远离基础模型已有能力分布，二值删除未必能构成足够强的能力重构。

开发者落地建议

Deletion Tuning 更适合作为任务特定模型版本的高效存储方案，以及持续学习场景中的低遗忘后训练候选，而不是直接替代所有微调方法。

工程团队可以按以下顺序验证：

1. 先用 LoRA 和 FFT 建立任务成功率、旧任务准确率、训练显存及推理延迟基线；
2. 在同一训练预算下比较二值掩码优化器及其连续松弛策略；
3. 测量掩码真正带来的存储收益，同时区分稀疏存储与稀疏计算；
4. 测试多任务掩码叠加、任务切换和增量学习中的冲突率；
5. 检查不同模型规模、MoE 架构及新知识密集型任务上的泛化边界。

如果部署目标是减少模型分发体积、频繁切换任务版本并抑制遗忘，这项方法值得进入实验队列；如果目标是最低训练成本或快速注入全新知识，FFT、LoRA 与其他参数高效微调方案仍需并行评估。

---

消息来源：Reddit r/LocalLLaMA (2026-11-10)

—— 完 ——

主题标签： #Deletion Tuning 关注 #LLM后训练 关注 #二值掩码 关注 #参数高效微调 关注 #持续学习 关注