多智能体视角偏好优化框架MAP-PO:保留标注者分歧,提升性别歧视检测鲁棒性
摘要:arXiv最新论文提出多智能体视角偏好优化框架(MAP-PO),旨在解决NLP中标注分歧被多数投票掩盖的问题。该框架在EXIST 2024数据集上,基于标注行为而非人口属性对标注者聚类,为每个聚类微调一个LLM智能体,并通过结合个体与团队奖励的偏好优化协调各智能体。实验覆盖两种语言和两种骨干模型,结果表明:未经微调的智能体行为几乎一致,而仅用个体聚类标签训练会使智能体过度拟合,加入团队级训练信号则能保持校准。该研究为处理主观性标注任务提供了新范式,对构建更具包容性和鲁棒性的AI系统具有重要价值。
研究背景
在自然语言处理(NLP)中,标注者之间的分歧常被视为噪声,多数投票成为主流处理方式。然而,对于性别歧视检测这类主观性极强的任务,分歧往往反映了真实存在的不同视角。丢弃这些分歧不仅损失信息,还可能导致模型偏见。
核心方法:MAP-PO框架
论文提出的MAP-PO框架包含三个关键步骤:
- 行为聚类:基于标注者的标注行为(而非人口属性)进行聚类,确保每个聚类内部具有相似的标注模式。
- 智能体微调:为每个聚类微调一个LLM智能体,使其能够复现该聚类的标注行为。
- 偏好优化:通过结合个体奖励和团队奖励的偏好优化算法,协调多个智能体,使其既能保持个体特性,又能共同逼近多数标签。
实验设计与发现
研究在EXIST 2024数据集(包含英语和西班牙语推文)上,使用两种骨干模型(如BERT和RoBERTa)进行实验。主要发现:
- 未微调的智能体行为趋同:所有智能体在未微调时表现几乎一致,说明聚类特定训练的必要性。
- 个体训练导致过度拟合:仅用个体聚类标签训练,智能体会偏离其应代表的聚类,过度拟合训练数据。
- 团队信号保持校准:加入共享的团队级训练信号后,智能体能够持续保持与其聚类的校准,同时整体性能提升。
技术亮点与创新
- 视角保留:不同于传统方法,MAP-PO显式建模并保留标注者的不同视角,提升模型对主观任务的表达能力。
- 行为聚类:基于行为而非人口属性,避免引入不必要的偏见,更符合实际标注场景。
- 多智能体协调:通过偏好优化实现个体与团队的平衡,为多智能体系统设计提供新思路。
行业影响与开发者建议
该框架可应用于任何存在标注分歧的任务,如仇恨言论检测、情感分析等。开发者可借鉴其思路,在数据标注阶段保留分歧信息,训练多智能体系统以提升模型鲁棒性。未来工作可探索更复杂的聚类方法和团队奖励设计。
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-06)
主题标签: #多智能体 #偏好优化 #性别歧视检测 #标注分歧 #LLM
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区