arXiv提出MASS:基于流形覆盖与稀疏特征覆盖的LLM后训练数据选择新方法
摘要:arXiv发布了一项名为MASS的新研究,旨在解决大语言模型(LLM)后训练中的数据选择问题。现有方法通常在原始嵌入空间中直接测量多样性,但这种方法容易受到主导语义方向、细粒度监督差异和局部噪声的干扰。MASS通过将数据选择问题公式化为粗粒度到细粒度的层次覆盖问题,提出了一种基于流形覆盖和稀疏特征覆盖的解决方案。实验结果表明,MASS在多个数据预算下均优于现有数据选择基线,并在某些设置中仅使用少量数据即可匹配或超越全量数据训练的性能。
背景与挑战
随着监督微调数据的规模不断扩大,从大规模候选池中选择高价值子集对于降低训练成本和提高模型性能至关重要。现有的数据选择方法通常在原始嵌入空间中直接测量多样性,但这种方法容易受到以下因素的干扰:
- 主导语义方向:几何度量容易受到数据集中主要语义方向的支配。
- 细粒度监督差异:不同样本之间的细微监督差异可能被忽略。
- 局部噪声:嵌入空间中的局部噪声会影响多样性的准确测量。
MASS方法
为了解决上述问题,研究人员提出了MASS(Manifold and Sparse Feature Coverage)方法,其核心思想是将数据选择问题公式化为一个从粗粒度到细粒度的层次覆盖问题。具体步骤如下:
- 粗粒度语义分组:使用密集自编码器学习低维主流行坐标,以实现数据的粗粒度语义分组。
- 稀疏特征覆盖:在每个语义组内,使用TopK稀疏自编码器进行质量感知的稀疏特征覆盖。
实验结果
MASS在Vision Flan和LLaVA-CoT数据集上的实验结果表明:
- 性能优越:MASS在多个数据预算下均优于现有的数据选择基线。
- 数据效率高:在某些设置中,MASS仅使用少量数据即可匹配或超越全量数据训练的性能。
技术亮点
- 层次化覆盖策略:通过粗粒度到细粒度的层次化覆盖策略,MASS能够更有效地捕捉数据的语义结构和特征分布。
- 质量感知选择:TopK稀疏自编码器的使用使得MASS能够在选择数据时考虑样本的质量,从而提高模型训练的效果。
- 实验验证:在多个基准数据集上的实验结果验证了MASS的有效性和优越性。
行业影响与开发者建议
MASS的提出为LLM后训练中的数据选择提供了一种新的思路和方法,具有以下潜在影响:
- 降低训练成本:通过选择高价值的训练数据,MASS可以帮助开发者降低模型训练的成本。
- 提高模型性能:MASS能够有效提高模型在下游任务中的性能,为开发者提供更强大的工具支持。
- 数据效率提升:在数据资源有限的情况下,MASS可以帮助开发者更高效地利用数据资源。
对于开发者而言,建议在LLM后训练过程中尝试使用MASS方法,并根据具体应用场景进行参数调优,以获得最佳的训练效果。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-08-20)
主题标签: #MASS #数据选择 #LLM #后训练 #arXiv
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区