GRASP:基于群体相对策略优化的语言模型匿名化方法发布
摘要:本文提出了一种名为GRASP的新方法,用于强化本地语言模型匿名化器,通过群体相对策略优化(Group Relative Policy Optimization)实现隐私与文本可用性之间的平衡。GRASP利用单个小型模型同时作为匿名化器、对手和效用评估器,通过自生成奖励进行训练,在隐藏敏感信息的同时保留文本语义。与现有基于监督微调和直接偏好优化(DPO)的方法相比,GRASP在隐私-效用权衡上表现更优,且完全在设备端运行,成本仅为GPT-4o教师的1%。
技术背景与挑战
大型语言模型(LLM)能够从普通文本中推断出敏感的个人属性,如年龄、位置和职业,这使得日常写作存在隐私风险。现有的对抗性匿名化方法通过使用强大的语言模型重写文本以隐藏敏感信息,但这种方法需要强大的模型支持,且在推理时需要将私人文本发送到第三方服务器,这与匿名化的初衷相悖。
GRASP方法概述
GRASP(Group-Relative Anonymization via Self-refinement Policy-optimization)通过群体相对策略优化强化本地匿名化器。其核心创新点包括:
- 单模型多角色设计:单个小型模型同时扮演匿名化器、对手和效用评估器的角色。
- 自生成奖励机制:模型通过自生成奖励进行训练,奖励机制旨在隐藏敏感信息的同时保留文本语义。
- 防止奖励黑客攻击:设计机制防止模型通过捷径或作弊方式获取奖励。
实验结果与优势
在Llama-3.1-8B模型上训练的GRASP,在隐私-效用权衡方面相较于DPO蒸馏基线方法有显著提升。在与Gemini 2.5 Flash和Claude等前沿模型的对抗性匿名化方法对比中,GRASP在去除更多私人信息的同时,实现了同等或更好的整体权衡。此外,GRASP完全在设备端运行,成本仅为GPT-4o教师的1%。
技术亮点
- 创新性策略优化方法:GRASP通过群体相对策略优化实现更高效的匿名化。
- 单模型多角色设计:简化了模型架构,降低了计算成本。
- 设备端运行:无需依赖第三方服务器,增强了隐私保护。
- 自生成奖励机制:提高了模型在隐私-效用权衡上的表现。
行业影响与开发者建议
GRASP为隐私保护领域提供了新的技术方向,尤其适用于需要处理敏感数据的应用场景,如医疗、金融和社交网络。对于开发者而言,GRASP提供了一种高效、低成本的匿名化解决方案,可以帮助他们在保护用户隐私的同时,保持文本的可用性。
未来展望
未来,GRASP有望在更多领域得到应用,如智能助手、聊天机器人和内容审核系统。此外,随着技术的不断迭代,GRASP的性能和效率将进一步提升,为隐私保护提供更强大的支持。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-10)
主题标签: #隐私保护 #大语言模型 #设备端计算 #策略优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区