智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #多智能体 #偏好优化 #性别歧视检测 #标注分歧 #LLM

多智能体视角偏好优化框架MAP-PO:保留标注者分歧,提升性别歧视检测鲁棒性

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 9 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv最新论文提出多智能体视角偏好优化框架(MAP-PO),旨在解决NLP中标注分歧被多数投票掩盖的问题。该框架在EXIST 2024数据集上,基于标注行为而非人口属性对标注者聚类,为每个聚类微调一个LLM智能体,并通过结合个体与团队奖励的偏好优化协调各智能体。实验覆盖两种语言和两种骨干模型,结果表明:未经微调的智能体行为几乎一致,而仅用个体聚类标签训练会使智能体过度拟合,加入团队级训练信号则能保持校准。该研究为处理主观性标注任务提供了新范式,对构建更具包容性和鲁棒性的AI系统具有重要价值。


研究背景

在自然语言处理(NLP)中,标注者之间的分歧常被视为噪声,多数投票成为主流处理方式。然而,对于性别歧视检测这类主观性极强的任务,分歧往往反映了真实存在的不同视角。丢弃这些分歧不仅损失信息,还可能导致模型偏见。

核心方法:MAP-PO框架

论文提出的MAP-PO框架包含三个关键步骤:

  1. 行为聚类:基于标注者的标注行为(而非人口属性)进行聚类,确保每个聚类内部具有相似的标注模式。
  2. 智能体微调:为每个聚类微调一个LLM智能体,使其能够复现该聚类的标注行为。
  3. 偏好优化:通过结合个体奖励和团队奖励的偏好优化算法,协调多个智能体,使其既能保持个体特性,又能共同逼近多数标签。

实验设计与发现

研究在EXIST 2024数据集(包含英语和西班牙语推文)上,使用两种骨干模型(如BERT和RoBERTa)进行实验。主要发现:

  • 未微调的智能体行为趋同:所有智能体在未微调时表现几乎一致,说明聚类特定训练的必要性。
  • 个体训练导致过度拟合:仅用个体聚类标签训练,智能体会偏离其应代表的聚类,过度拟合训练数据。
  • 团队信号保持校准:加入共享的团队级训练信号后,智能体能够持续保持与其聚类的校准,同时整体性能提升。

技术亮点与创新

  • 视角保留:不同于传统方法,MAP-PO显式建模并保留标注者的不同视角,提升模型对主观任务的表达能力。
  • 行为聚类:基于行为而非人口属性,避免引入不必要的偏见,更符合实际标注场景。
  • 多智能体协调:通过偏好优化实现个体与团队的平衡,为多智能体系统设计提供新思路。

行业影响与开发者建议

该框架可应用于任何存在标注分歧的任务,如仇恨言论检测、情感分析等。开发者可借鉴其思路,在数据标注阶段保留分歧信息,训练多智能体系统以提升模型鲁棒性。未来工作可探索更复杂的聚类方法和团队奖励设计。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-06)

—— 完 ——

主题标签: #多智能体 #偏好优化 #性别歧视检测 #标注分歧 #LLM

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…