arXiv研究揭示：MoE模型路由遥测数据可被用于成员推理攻击

摘要：一项来自arXiv的研究指出，混合专家（MoE）语言模型在推理过程中生成的路由遥测数据可能泄露模型训练数据的隐私信息。研究团队提出了一种基于路由的成员推理攻击方法，通过结合传统输出信号和路由特征，利用独立微调的影子模型进行分类，成功提升了成员推理攻击的准确性。在多种架构和数据领域下，路由遥测数据使攻击的真正阳性率（TPR）在1%的假阳性率（FPR）下提高了2.7至9.4个百分点。研究表明，即使在冻结路由参数、使用LoRA或指令微调等场景下，隐私泄露问题依然存在。这项研究揭示了MoE模型在隐私保护方面的潜在风险，并为未来的模型设计提供了重要参考。

---

研究背景与问题

混合专家（MoE）语言模型通过在推理过程中生成路由信息来优化计算效率，这些路由数据通常被记录下来用于监控、调试、负载分析和安全审计。然而，这些遥测数据可能暴露模型内部计算过程的视图，从而引发隐私问题：它们是否能够揭示某个示例是否被用于微调部署的模型？

研究方法与发现

研究团队提出了一种基于路由的成员推理攻击方法，具体步骤如下：

1. 攻击方法：结合传统输出信号和聚合的路由特征，并利用独立微调的影子模型学习成员分类器。
2. 实验结果：在三种MoE架构和三种数据领域下，路由遥测数据显著提升了成员推理攻击的效果。在所有九种设置中，攻击的真正阳性率（TPR）在1%的假阳性率（FPR）下提高了2.7至9.4个百分点。
3. 广泛适用性：这种隐私泄露问题在完全微调、冻结路由训练、LoRA和指令微调等场景下均存在。即使在仅使用离散专家选择、限制遥测数据或单个影子模型的情况下，攻击依然有效。
4. 机制分析：研究表明，隐私泄露并不需要路由特定的记忆。微调会将成员信息引入隐藏表示，而路由会暴露这些信号的投影，即使其参数被冻结。

技术影响与建议

1. 隐私风险：这项研究揭示了MoE模型在隐私保护方面的潜在风险，提示开发者在使用MoE架构时需要更加谨慎。
2. 改进方向：未来需要开发更强大的隐私保护机制，例如差分隐私技术或基于硬件的解决方案，以减少路由遥测数据的隐私泄露风险。
3. 开发者建议：在使用MoE模型时，应尽量限制路由遥测数据的记录和暴露，并考虑在模型训练和推理过程中引入隐私保护技术。

结论

这项研究为MoE模型的隐私保护提供了新的视角，强调了路由遥测数据在成员推理攻击中的重要性。未来的研究可以进一步探索更有效的隐私保护方法，以确保MoE模型在实际应用中的安全性。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-09)

—— 完 ——

主题标签： #MoE架构 关注 #隐私保护 关注 #成员推理攻击 关注 #arXiv 关注