arXiv发布Data-DPO:面向大模型后训练的数据选择新方法
摘要:arXiv发布了一项名为Data-DPO的新研究,针对大语言模型(LLM)后训练中的数据选择问题提出了创新解决方案。Data-DPO通过观察目标模型对不同样本的局部训练反馈,将样本间的激活差异转化为成对数据偏好,并训练一个轻量级奖励模型来学习目标模型感知的数据偏好。在Vision-Flan和LLaVA-CoT上的实验结果表明,Data-DPO在多个数据预算下均优于现有数据选择基线,并稳定超越全量数据训练的性能。这一方法为降低训练成本、提高模型性能提供了新的技术路径。
1. 研究背景与动机
在监督微调(SFT)中,数据选择的目标是从大规模候选数据中挑选出一小部分高效样本,以降低训练成本,同时保持模型性能。然而,现有方法通常将数据价值视为相对静态属性,对数据与目标模型能力分布的兼容性关注不足。
2. Data-DPO方法概述
Data-DPO提出了一种面向目标模型的数据选择方法,其核心创新点包括:
- 局部训练反馈观察:通过一步探测,观察目标模型对不同样本的局部训练反馈。
- 激活差异转化为数据偏好:将样本间的激活差异转化为成对数据偏好。
- 轻量级奖励模型训练:训练一个轻量级奖励模型,学习目标模型感知的数据偏好。
- 综合选择策略:在最终选择阶段,结合目标模型偏好、外部质量评分和边际多样性,构建更稳定、更有效的数据子集。
3. 实验结果与优势
实验在Vision-Flan和LLaVA-CoT数据集上进行,结果表明:
- 性能提升:Data-DPO在多个数据预算下均优于现有数据选择基线。
- 超越全量数据训练:在某些情况下,Data-DPO选择的数据子集性能稳定超越全量数据训练。
- 高效性:该方法能够有效降低训练成本,同时保持或提升模型性能。
4. 技术亮点
- 目标模型感知:通过观察目标模型的局部训练反馈,Data-DPO能够更好地理解数据与模型能力的兼容性。
- 轻量级奖励模型:训练轻量级奖励模型降低了计算成本,使其适用于大规模数据选择任务。
- 综合选择策略:结合多种因素进行数据选择,确保了选择结果的稳定性和有效性。
5. 行业影响与开发者建议
Data-DPO为大模型后训练中的数据选择提供了一种高效的新方法,尤其适用于资源受限的场景。开发者可以参考以下建议:
- 应用场景拓展:尝试将Data-DPO应用于其他类型的数据选择任务,如多模态数据选择。
- 模型适配性优化:根据具体模型和任务需求,进一步优化Data-DPO的奖励模型和选择策略。
- 资源管理:在资源有限的情况下,利用Data-DPO的优势,平衡训练成本和模型性能。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-08-20)
主题标签: #Data-DPO #大模型 #数据选择 #监督微调 #arXiv
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区