ArXiv提出GRAPHSU方法：革新语言模型选择性遗忘技术

摘要：ArXiv发布了一种名为GRAPHSU的新方法，用于语言模型的选择性遗忘。传统方法仅关注明确的遗忘样本，而GRAPHSU通过构建加权支持路径图，将遗忘范围扩展到相关样本，从而有效减少软泄漏。该方法在多个基准测试中表现优异，尤其在处理复杂遗忘场景时，显著降低了知识泄漏风险，为企业级模型遗忘提供了更可靠的解决方案。

---

背景与挑战

随着企业对数据隐私和合规性的要求日益提高，语言模型在处理敏感数据时需要具备选择性遗忘的能力。传统方法通常仅关注明确的遗忘样本，但当目标知识通过释义、别名或邻近训练样本可恢复时，这些方法往往失效，导致软泄漏问题。

GRAPHSU方法

ArXiv提出的GRAPHSU方法通过以下步骤解决了上述问题：

1. 构建加权支持路径图：通过分析训练数据中的关联关系，构建一个加权图，将遗忘范围扩展到相关样本。
2. 传播遗忘压力：利用图结构，将遗忘压力传播到高风险邻居，确保遗忘的全面性。
3. 应用分级遗忘强度：根据风险等级，对不同样本应用不同的遗忘强度，从而实现更精细的控制。

实验与结果

在虚构遗忘任务（TOFU）和结构化遗忘基准（PISTOL）上，GRAPHSU与GPT-2 Medium和Llama-3.2-3B-Instruct模型结合进行了测试。结果表明，GRAPHSU在所有遗忘设置中均实现了最低的软泄漏，与仅关注遗忘种子的基线方法相比，泄漏减少了高达49.5个百分点。

技术亮点

• 扩展遗忘范围：通过图结构，将遗忘范围从明确样本扩展到相关样本。
• 分级遗忘强度：根据风险等级，应用不同的遗忘强度，实现更精细的控制。
• 显著减少软泄漏：在多个基准测试中，显著降低了知识泄漏风险。

行业影响与开发者建议

GRAPHSU为企业在处理敏感数据时提供了更可靠的遗忘方法，尤其适用于需要高隐私保护的应用场景。开发者可以参考以下建议：

• 结合具体场景调整参数：根据实际应用场景，调整图构建和遗忘强度的参数，以达到最佳效果。
• 关注模型性能与遗忘效果的平衡：在实现高遗忘效果的同时，确保模型性能不受显著影响。
• 探索多模态应用：未来可以探索GRAPHSU在多模态模型中的应用，进一步提升其适用性。

结论

GRAPHSU方法为语言模型的选择性遗忘提供了新的思路，展示了AI在数据隐私和合规性方面的巨大潜力。

---

消息来源：ArXiv cs.AI (2026-08-27)

—— 完 ——

主题标签： #选择性遗忘 #语言模型 #数据隐私 #ArXiv #GRAPHSU