FPD重构多模态大模型遗忘监督，兼顾隐私清除与模型效用

摘要：多模态大模型可能从训练数据中记忆并复现敏感信息，但现有遗忘方法常在“忘得干净”与“保留能力”之间陷入权衡。研究提出FFN-Perturbed Self-Distillation（FPD），以教师模型原始输出分布为零偏移参考，选择性扰动跨文本与视觉模态的FFN激活，降低监督目标中的隐私信息，同时避免过大的分布漂移。在S-MLLMUn Bench上，FPD取得更好的遗忘—效用折中，但摘要未披露具体指标、计算开销及独立复现结果。

---

研究结论

多模态大模型的机器遗忘难题，不仅在于定位敏感样本，还在于构造合适的训练目标。FFN-Perturbed Self-Distillation（FPD）把问题重新定义为：如何从教师模型的原始输出分布出发，在尽量小的分布偏移下移除与隐私相关的知识，而不是用一个人为构造的“遗忘标签”强行覆盖模型原有行为。

研究指出，已有方法常通过固定标签、重建分布或其他人工输出监督模型。这种做法存在两个方向相反的问题：监督目标若仍携带隐私信息，模型可能继续记忆相关信息；若监督目标与教师原始分布相差过大，模型虽然更容易被改写，却会破坏通用能力。论文据此把遗忘—效用权衡的一部分归因于监督目标的设计，而非只归因于优化算法。

FPD如何工作

FPD以教师模型的原始输出分布作为零偏移参考，不要求模型突然适配完全陌生的标签。训练过程中，研究者识别与私有信息相关的FFN激活，并对这些激活进行选择性扰动。文本和视觉模态分别处理，使方法能够作用于跨模态编码的知识，而不只删除某一侧的显式内容。

从机制上看，Transformer前馈网络承担了部分特征变换与知识存储职责。相较直接修改词表输出，微调FFN内部激活可以在更细的表示空间中削弱特定信息，同时保留其他任务的响应结构。不过，论文摘要没有说明“私有信息激活”的定位算法、扰动强度的选择规则，以及视觉Token与文本Token之间如何建立精确对应，因此这一环节仍是复现时的关键难点。

FPD可视为一种受约束的自蒸馏：教师输出提供参考分布，FFN扰动构造学生应拟合的新目标。其工程目标不是最小化监督目标与原始分布之间的所有差异，而是只移除与隐私相关的方向，尽量维持无关知识与通用行为。

工程权衡

FPD相较重新标注或替换输出标签，理论上具有三项优势。第一，它以教师分布为锚点，减少分布偏移导致的灾难性能力损失；第二，它将干预位置放在FFN激活，而非只处理最终Token概率；第三，它允许文本和视觉模态使用统一的目标构造框架。

代价也很明确。方法至少需要教师模型输出、隐私相关激活的定位与扰动，以及额外蒸馏训练。选择性干预若定位不准确，可能只压制表面措辞，却未清除模型内部可用于重构的表示；若扰动过强，又可能产生与直接改写标签相似的分布漂移。FFN层数、模型规模和多模态融合位置不同，也会影响干预成本。现有摘要未提供训练时长、峰值显存、推理延迟或额外模型存储开销，因此不能据此判断其是否适合高吞吐在线服务。

评测应如何解读

论文在S-MLLMUn Bench上报告FPD优于既有方法，说明其监督目标设计具有研究价值。但摘要没有给出具体遗忘率、效用分数、置信区间或不同基线的统一配置，结论应被视为论文作者实验信号，而非已充分验证的通用结论。

机器遗忘评测尤其容易受到指标口径影响。仅检查模型是否不再生成某个身份、地址或私密事实，可能无法识别改写式泄漏；只考察困惑度或通用任务准确率，也可能掩盖模型仍保留可恢复知识的问题。更可靠的做法应同时包含成员推断、隐私属性推断、诱导重构、提示变体、跨模态提取，以及未受隐私影响的通用能力回归测试。

此外，多模态数据中的隐私可能并不以显式文本形式存在。电话号码出现在图片中、文本和图像共同指向同一身份，或知识由两种模态组合才能恢复时，单独扰动某一模态可能不够。论文强调跨文本与视觉处理，但摘要没有提供这些组合隐私场景的细分结果，仍需结合完整消融实验判断。

开发者落地建议

对于需要处理训练数据删除请求的团队，FPD的价值在于提供了一种相对温和的后训练遗忘框架，而不是替代数据治理。实施时建议先建立三类回归集：待删除信息的直接与间接询问集、由敏感实体诱导重构的组合模态集，以及用于监测通用能力退化的保留集。

训练流程可先复现教师原始输出作为锚点，再逐层检查FFN激活与隐私样本的关联度，采用小规模扰动消融确定模型遗忘、输出分布偏移和通用效用之间的边界。若目标模型使用GQA、MoE、视觉编码器或跨模态投影器，还需要分别确认FFN干预是否会被后续层重新编码，否则表面输出变化不代表内部知识已移除。

生产部署前还应验证遗忘的稳定性：同一隐私内容经过不同措辞、图像扰动或多轮对话后是否仍可恢复；以及正常用户输出是否出现明显分布漂移。对于高风险数据，模型编辑或蒸馏不能替代训练数据删除、访问控制、输出过滤和审计记录。

局限与后续验证

FPD的核心贡献是把监督目标从“人工标签”转化为“围绕教师分布的受控干预”，但摘要没有披露方法是否公开代码，也没有提供跨模型、跨数据规模的验证。后续研究需要回答三个问题：隐私相关激活能否稳定定位，跨模态隐私是否真正删除，以及遗忘收益在更大模型和更长上下文下是否仍能维持。

在这些问题得到独立验证前，FPD更像是缓解多模态机器遗忘中分布漂移问题的一套有前景设计，而非可以直接替代合规删除流程的成熟技术。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-10)

—— 完 ——

主题标签： #多模态大模型 关注 #机器遗忘 关注 #模型隐私 关注 #自蒸馏 关注 #FFN干预 关注