Deletion Tuning仅删0.05%权重，逼近全量微调并缓解遗忘

摘要：Deletion Tuning在Transformer门控投影层上学习二值掩码，通过将少量权重置零完成模型后训练，无需更新其余参数。论文称，低于0.05%的权重变更在可验证奖励强化学习、监督微调和同策略蒸馏三种场景中可逼近全量微调，同时将检查点压缩至原来的数百至数千分之一。强化学习实验中，其旧任务准确率更接近基础模型，而FFT、LoRA和随机稀疏微调最多下降5.4个百分点。研究还从稳定秩、谱漂移和主权重重叠解释其与FFT的几何相似性，但跨模型规模、消融结果及独立复现仍待核查。

---

核心思路：把后训练改写成“哪些权重可以归零”

Deletion Tuning不生成新的连续权重增量，而是为Transformer各层门控投影（gate projection）学习一张二值掩码。掩码选中的参数被置零，其余参数保持预训练状态，因此模型变更严格表现为权重删除，而不是LoRA式低秩增量或FFT式全参数更新。

论文报告，三种后训练范式——可验证奖励强化学习（RLVR）、监督微调和同策略蒸馏——中，低于0.05%的权重被置零即可在“大规模”设置下匹配全量微调。该结果的核心含义不是“少量参数足以承载所有知识”，而是某些后训练任务可以通过移除已有权重、改变计算路径来完成，而无需为每项新能力重新拟合整个参数空间。

技术机制：二值掩码如何改变Transformer计算

设某层门控投影权重为

[ W \in \mathbb{R}^{d_{out}\times d_{in}} ]

Deletion Tuning学习二值掩码 (M\in{0,1}^{d_{out}\times d_{in}})，最终权重为：

[ \widetilde{W}=M\odot W ]

当 (M_{ij}=0) 时，对应权重被删除；为1时则保留原值。推理时不需要额外分支、适配器或动态路由，计算图与原始模型完全一致，额外延迟主要取决于如何固化并加载掩码。

与LoRA相比，LoRA通常表示为 (W+\Delta W)，其中 (\Delta W=BA) 且秩 (r) 远小于维度；其训练产物至少包含两个低秩矩阵。Deletion Tuning只保存二值掩码，若以位图或压缩格式存储，理论上可显著小于FFT检查点，也可能在部署时比加载两个浮点矩阵更省带宽。不过，论文摘要未披露掩码训练算法、门控投影的选择依据及不同模型上的实际存储编码，这些细节决定“数百至数千倍”能否转化为端到端收益。

为什么少量删除可以逼近全量微调

研究使用稳定秩、谱漂移和主权重重叠分析RL训练后的参数几何。结果显示，Deletion Tuning在这三项指标上比LoRA和随机稀疏微调更接近FFT。

这一结果指向一个更谨慎的解释：FFT并非所有任务都要求对权重矩阵进行连续、大幅度移动。即使完整微调最终形成稠密更新，其有效改变也可能集中在少数方向或少量结构化参数上。删除固定权重虽然不能直接合成任意方向的新值，却可能通过改变门控路径，在现有参数空间中重新组合已有能力。

但“接近FFT”不应等同于“与FFT等价”。稳定秩和谱漂移是描述性指标，不足以证明优化路径、泛化行为或能力形成机制相同。真正关键的是：掩码是否只对特定后训练数据有效、能否跨任务复用，以及零权重是否主要来自冗余剪枝而非新的能力编码。

工程权衡：更小检查点不等于更低训练成本

Deletion Tuning的优势主要落在存储、分发和灾难性遗忘控制，而不是无条件降低训练成本。

首先，它把“学习连续参数”变成“选择哪些参数删除”。如果掩码通过逐次置零、恢复并评估任务表现来搜索，训练阶段可能需要大量前向传播，甚至高于普通LoRA。论文摘要未提供掩码优化开销、候选评估次数和GPU小时，因此不能仅凭最终掩码很小就推断训练更便宜。

其次，删除操作天然可能伤害基础能力，但结果显示其在RL场景中反而减少了旧任务遗忘：旧任务准确率维持在基础模型附近，而FFT、LoRA和随机稀疏微调最多下降5.4个百分点。这一现象对持续学习尤其重要，因为适配新技能不必通过大范围重写权重来破坏原技能。

不过，较低遗忘也可能来自掩码优化不足或更新能力较弱。判断方法必须同时比较新任务性能、旧任务保持、通用能力回归和训练预算，而不是只看单一奖励分数。论文称其在三类后训练范式中匹配FFT，若不同范式均成立，则意味着遗忘下降不只是RL奖励优化的副作用，但完整数据仍需核验。

评测应关注什么

现有摘要没有披露模型家族、参数规模、任务数量、随机种子、统计显著性及等算力设置。对于这类“少参数修改即可匹敌全量微调”的结论，至少应检查以下问题：

• 基线是否等预算：FFT、LoRA和随机稀疏微调是否获得相同的训练Token、GPU时间与超参数搜索预算。
• 任务是否覆盖真实迁移：RLVR、SFT和同策略蒸馏是否来自多个模型与任务家族，而非单一能力域。
• 删除位置是否预设：固定只掩蔽门控投影可能排除了注意力投影、MLP和归一化参数等其他候选位置，比较时需明确。
• 掩码泛化如何：训练时发现的关键权重是否会在新任务、新数据分布或继续训练后失效。
• 遗忘指标是否充分：旧任务准确率之外，还应覆盖通用能力、指令遵循、安全行为和长上下文表现。

开发者落地建议

对需要频繁分发适配版本、保留基础模型行为的团队，Deletion Tuning值得纳入LoRA与FFT之间的候选方案。实际接入时，可优先在开放权重模型上复现实验，并记录掩码比例、门控层选择、旧任务回归、部署体积和训练墙钟时间。

部署侧可将掩码固化为权重中的零值，或保存为压缩位图并在加载时应用。若框架支持权重稀疏化，还可评估内核层是否真正利用稀疏结构；否则，“稀疏检查点”可能只减少存储，却不一定减少推理计算。模型分发也应保留基座哈希、掩码版本和任务评测快照，避免不同适配版本之间无法审计与回滚。

Deletion Tuning最值得关注的方向，是把参数高效微调从“生成小型连续增量”推进到“选择少量可撤销的结构性删除”。如果后续独立复现确认跨模型、跨任务的泛化能力，它可能成为持续学习和低成本模型分发的新工具；如果掩码搜索本身依赖昂贵的前向评估，其优势则更可能局限于发布端，而非训练端。

---

消息来源：Hugging Face Daily Papers (2026-11-07)

—— 完 ——

主题标签： #Deletion Tuning 关注 #参数高效微调 关注 #二值掩码 关注 #持续学习 关注 #大模型后训练 关注