智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Data-DPO #大模型 #数据选择 #监督微调 #arXiv

arXiv发布Data-DPO:面向大模型后训练的数据选择新方法

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项名为Data-DPO的新研究,针对大语言模型(LLM)后训练中的数据选择问题提出了创新解决方案。Data-DPO通过观察目标模型对不同样本的局部训练反馈,将样本间的激活差异转化为成对数据偏好,并训练一个轻量级奖励模型来学习目标模型感知的数据偏好。在Vision-Flan和LLaVA-CoT上的实验结果表明,Data-DPO在多个数据预算下均优于现有数据选择基线,并稳定超越全量数据训练的性能。这一方法为降低训练成本、提高模型性能提供了新的技术路径。


1. 研究背景与动机

在监督微调(SFT)中,数据选择的目标是从大规模候选数据中挑选出一小部分高效样本,以降低训练成本,同时保持模型性能。然而,现有方法通常将数据价值视为相对静态属性,对数据与目标模型能力分布的兼容性关注不足。

2. Data-DPO方法概述

Data-DPO提出了一种面向目标模型的数据选择方法,其核心创新点包括:

  • 局部训练反馈观察:通过一步探测,观察目标模型对不同样本的局部训练反馈。
  • 激活差异转化为数据偏好:将样本间的激活差异转化为成对数据偏好。
  • 轻量级奖励模型训练:训练一个轻量级奖励模型,学习目标模型感知的数据偏好。
  • 综合选择策略:在最终选择阶段,结合目标模型偏好、外部质量评分和边际多样性,构建更稳定、更有效的数据子集。

3. 实验结果与优势

实验在Vision-Flan和LLaVA-CoT数据集上进行,结果表明:

  • 性能提升:Data-DPO在多个数据预算下均优于现有数据选择基线。
  • 超越全量数据训练:在某些情况下,Data-DPO选择的数据子集性能稳定超越全量数据训练。
  • 高效性:该方法能够有效降低训练成本,同时保持或提升模型性能。

4. 技术亮点

  • 目标模型感知:通过观察目标模型的局部训练反馈,Data-DPO能够更好地理解数据与模型能力的兼容性。
  • 轻量级奖励模型:训练轻量级奖励模型降低了计算成本,使其适用于大规模数据选择任务。
  • 综合选择策略:结合多种因素进行数据选择,确保了选择结果的稳定性和有效性。

5. 行业影响与开发者建议

Data-DPO为大模型后训练中的数据选择提供了一种高效的新方法,尤其适用于资源受限的场景。开发者可以参考以下建议:

  • 应用场景拓展:尝试将Data-DPO应用于其他类型的数据选择任务,如多模态数据选择。
  • 模型适配性优化:根据具体模型和任务需求,进一步优化Data-DPO的奖励模型和选择策略。
  • 资源管理:在资源有限的情况下,利用Data-DPO的优势,平衡训练成本和模型性能。

消息来源:ArXiv Machine Learning (cs.LG) (2026-08-20)

—— 完 ——

主题标签: #Data-DPO #大模型 #数据选择 #监督微调 #arXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…