Hugging Face发布UnAct：无需梯度的高效类遗忘方法

摘要：Hugging Face推出了一种名为UnAct的新方法，用于无需梯度的高效类遗忘。该方法通过仅对遗忘图像进行前向传播，利用晚期层单元的响应评分来衰减最活跃的连接，从而实现无需梯度、标签或保留数据的遗忘过程。在多个基准测试中，UnAct在遗忘整个类别时表现与现有方法相当，但在遗忘数据稀缺的情况下避免了网络崩溃问题。其在CIFAR-10上的五张遗忘图像实验中，遗忘准确率仅比重新训练低0.21个百分点，远超其他方法。UnAct为机器遗忘领域提供了更高效、更可靠的解决方案。

---

核心突破

Hugging Face的研究团队推出了一种名为UnAct的新方法，用于高效地实现机器遗忘。机器遗忘旨在从训练好的模型中移除特定训练数据的影响，而无需从头开始重新训练。现有方法如选择性突触衰减（SSD）和其无标签变体LFSSD虽然避免了完全重新训练，但仍然需要在整个数据集上进行反向传播和参数重要性计算。UnAct通过以下方式解决了这些问题：

• 无需梯度：仅对遗忘图像进行前向传播，无需反向传播。
• 无需标签或保留数据：仅依赖遗忘图像的响应评分来衰减最活跃的连接。
• 高效性：在多达20轮的操作中重复此过程，确保遗忘的彻底性。

技术亮点

1. 响应评分机制：UnAct通过评估晚期层单元的响应来识别需要衰减的连接。
2. 多轮迭代：通过多轮迭代逐步衰减连接，确保遗忘的彻底性。
3. 无需梯度、标签或保留数据：相比现有方法，UnAct在数据稀缺的情况下表现更佳，避免了网络崩溃问题。

实验结果

在ResNet-18模型上，UnAct在CIFAR-10、CIFAR-20和CIFAR-100数据集上的表现与SSD和LFSSD相当，但在遗忘数据稀缺的情况下，UnAct从未出现网络崩溃问题。在CIFAR-10的五张遗忘图像实验中，UnAct的遗忘准确率仅比重新训练低0.21个百分点，而LFSSD和SSD的差距分别为67和90个百分点。

行业影响

UnAct为机器遗忘领域提供了更高效、更可靠的解决方案，特别是在数据稀缺或隐私敏感的应用场景中。其无需梯度、标签或保留数据的特性，使其在处理敏感数据时更具优势。此外，UnAct的轻量级特性使其易于集成到现有的机器学习工作流中，为AI系统的隐私保护和合规性提供了新的技术路径。

开发者建议

• 集成UnAct到现有工作流中：开发者可以尝试将UnAct集成到现有的机器学习管道中，以增强数据隐私保护能力。
• 探索多模态应用：未来可以探索UnAct在多模态数据上的应用，如图像和文本的联合遗忘。
• 优化迭代轮次：根据具体应用场景调整UnAct的迭代轮次，以在遗忘效果和计算成本之间找到最佳平衡。

---

消息来源：Hugging Face Daily Papers (2026-10-03)

—— 完 ——

主题标签： #Hugging Face 关注 #机器遗忘 关注 #无梯度方法 关注 #隐私保护 关注 #AI安全 关注