ArXiv提出DP-Merging:提升差分隐私模型合并的几何感知框架
摘要:ArXiv发布了一项关于差分隐私(DP)模型合并的研究,提出了一种名为DP-Merging的几何感知框架,旨在解决差分隐私对模型合并性能的影响问题。DP-Merging通过引入与差分隐私兼容的锐度感知目标函数和基于参考的对齐正则化方法,显著提升了差分隐私任务模型的合并性能,同时保持了差分隐私的隐私保证。该研究在视觉和语言任务上的实验表明,DP-Merging在多个隐私预算下均能有效提升合并后模型的性能,为多任务学习和隐私保护提供了新的技术路径。
研究背景与挑战
差分隐私(DP)是一种用于限制数据泄露的隐私保护机制,但其对模型合并的影响尚未被充分理解。模型合并旨在从独立微调的任务模型中构建一个多任务模型,而无需访问原始任务数据。然而,差分隐私可能会导致任务模型难以合并,主要面临两个几何障碍:
- 局部锐度(Local Sharpness):使任务损失对合并引起的参数位移敏感。
- 参考漂移(Reference Drift):衡量差分隐私任务模型与共享预训练初始化的位移,并放大跨任务干扰。
DP-Merging框架
为了解决上述问题,研究人员提出了DP-Merging框架。该框架包括以下关键组件:
- DP兼容的锐度感知目标函数:引导每个差分隐私任务模型向更平坦的损失区域移动。
- 基于参考的对齐正则化方法:将任务模型保持在共享预训练初始化附近,减少跨任务干扰。
研究人员还推导了合并间隙上界,表明减少局部曲率和参考漂移可以收紧合并引起的损失增加界限。
实验结果
在多个隐私预算下对视觉和语言任务的实验表明,DP-Merging能够:
- 提升合并后模型的性能:在多个基准测试中,合并模型的性能显著优于传统方法。
- 保持差分隐私的隐私保证:在提升性能的同时,未对差分隐私的隐私保护机制造成影响。
行业影响与开发者建议
- 多任务学习:DP-Merging为多任务学习提供了新的思路,特别是在数据隐私要求较高的场景中。
- 隐私保护:该框架展示了在保护数据隐私的同时提升模型性能的可能性,为AI系统的开发提供了新的方向。
- 开发者建议:建议开发者在处理差分隐私模型合并时,考虑使用DP-Merging框架以优化模型性能。同时,应关注差分隐私对模型训练和合并的影响,并探索更有效的隐私保护机制。
技术亮点
- 几何感知方法:通过几何分析识别并解决差分隐私模型合并中的关键问题。
- 性能与隐私的平衡:在提升模型性能的同时,保持差分隐私的隐私保证。
- 跨任务干扰的减少:通过参考对齐正则化方法减少跨任务干扰,提升合并模型的泛化能力。
—— 完 ——消息来源:ArXiv cs.LG (2026-08-27)
主题标签: #差分隐私 #模型合并 #多任务学习 #隐私保护 #几何感知
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区