长时程联邦学习揭示信任边界漂移：独立审计守住98%增益

摘要：一项面向接收方联邦学习的长时程基准，追踪各站点对其他来源与模型组件执行“接纳、拒绝或弃权”的信任判断。实验覆盖13个半合成站点、14种方法、600轮训练，以及基于Qwen3-1.7B LoRA的500轮测试。固定参考门控虽能识别相对初始模型有益的迁移，却放行29%对当前模型有害的更新；当前模型门控将有害放行率降至2%，但会错过对初始状态有价值的更新。研究提出独立留出审计，在600轮后安全部署65%至72%的模型，保留98%的收益，并以2万次审计观测建立自适应方差上界。

---

核心发现：联邦学习中的“信任”不是一次性准入判断

接收方联邦学习的难点不在于某个站点能否从其他站点吸收知识，而在于这项判断能否在数百轮训练后继续成立。随着本地模型不断更新，早期有利的一次传输可能变得有害；一次拒绝也可能丢失仍可利用的改进。因此，论文把每个站点针对“来源站点×模型组件”的裁决形式化为 admit / reject / abstain，并通过长时程基准检验这种信任边界是否稳定。

实验包含13个半合成站点、每次传输的精确 oracle、配对随机种子和攻击协议，对比14种方法：CPU 场景运行600轮，Qwen3-1.7B LoRA 客户端场景运行500轮，另在60个选定传输上对Qwen3开展100轮共同目标实验。结果显示，问题不能归结为“门控是否足够准”，而在于门控究竟相对哪个目标进行判断。

两种信任边界对应两种失效模式

固定参考门控把迁移与站点初始模型比较。在20组配对 CPU 种子中，它更善于识别“相对初始状态有益”的传输，却放行了29%对站点当前模型有害的更新。原因在于模型状态发生非单调漂移：一次传输曾经降低目标损失，不代表在后续参数状态下继续合并仍然有利。

当前模型门控直接比较迁移与站点现有模型，在 CPU 实验中只放行2%对当前目标有害的传输。不过，它会漏掉许多相对初始模型有价值的传输。论文用两条简短命题解释这一差异：当参考点被冻结时，门控可能把过时知识当作增益；当参考点持续漂移时，判断会随模型状态改变，却失去稳定的改进基线。

这意味着接收方联邦学习不存在一个同时覆盖“初始潜力”和“当前安全”的单一门控定义。工程系统必须明确区分：

• 相对起点的探索价值；
• 相对当前状态的边际收益；
• 在训练历史约束下仍然有效的部署许可。

留出审计：把在线门控与最终部署解耦

论文进一步引入独立留出审计。该机制不修改既有门控裁决，而是在训练结束后使用独立数据判断每个最终模型应当部署，还是回退到本地训练；同时识别已经过期的“接纳”结论。

由于审计数据与门控训练数据相互独立，其保证可建立在任意训练历史之上。600轮实验中，审计系统部署了65%至72%的最终模型；这些被部署模型在审计目标上没有观察到负收益，同时保留了98%的可用增益。已过期报告在当前运行中也没有出现收益符号反转。

这里的工程含义是：门控负责低成本地产生候选许可，审计负责最终承担模型状态漂移造成的不确定性。两者分工比让在线门控永久维护一个绝对可靠的信任证书更稳健。

方差自适应上界：识别高成本过期决策

论文利用2万次审计观测构造方差自适应上界，声称可以识别99%那些至少造成0.01 log loss 损失的过期传输。这里的0.01不是通用安全阈值，而是相对于目标函数尺度的可调风险预算。

这类统计审计比硬阈值更适合实际系统，因为不同客户端的数据量、标签噪声和任务分布会导致迁移收益方差不同。部署策略应联合考虑：

1. 估计收益的置信下界；
2. 允许的最大性能损失；
3. 回退到本地训练的成本；
4. 审计样本是否真正独立于门控训练过程。

不过，独立审计并非无条件可靠。如果审计集与训练过程共享偏差、覆盖不足或发生分布漂移，置信界仍可能失真；此外，统计保证也依赖试验次数和独立性假设，不能直接等同于生产环境中的绝对安全。

攻击环境与基线表现

在包含38%对抗站点时，FedFomo和CS-Gate是受测方法中仅有的两类在所有诚实组上都取得正平均收益的方法。论文因此把“恶意站点比例”纳入基准，而不仅报告诚实联邦下的平均准确率。这对模型或组件级别的联邦传输尤其重要：恶意来源可能不直接破坏模型，而是选择性发送对目标站点有利的局部更新，使全局聚合出现偏差。

但基准仍基于半合成数据，且精确 oracle 的可用性意味着它更接近受控机制验证，而不是完整生产复现。真实联邦环境还会叠加隐私预算、系统异构、掉线、通信成本和标签偏移。

开发者落地建议

对于准备采用模型组件传输、联邦 LoRA 或跨站点参数合并的团队，这项研究给出四项可直接采用的工程原则：

• 明确定义参考模型，不把“初始模型收益”和“当前模型收益”混成同一指标。
• 将门控与最终审计分离，审计使用独立数据，并记录每个接收决策的模型版本。
• 对有害放行率、平均收益、过期率、部署率和回退成本进行联合监控，而不是只优化单一准确率。
• 在对抗站点比例、客户端异构和真实网络条件下复测；半合成基准上的正收益不能替代生产验证。

总体而言，这项工作没有宣称一个永久有效的联邦信任边界，而是给出了更可操作的答案：信任边界会随模型状态漂移，但可以通过“在线保守准入＋独立留出审计＋模型级回退”把风险限制在可量化边界内。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-05)

—— 完 ——

主题标签： #联邦学习 关注 #信任边界 关注 #LoRA微调 关注 #长时程评测 关注 #模型审计 关注