MASS:基于流形覆盖与稀疏特征覆盖的层次化数据选择方法
摘要:MASS 是一种用于大语言模型后训练数据选择的新方法,通过将数据选择问题建模为从粗到细的层次化覆盖问题,利用密集自编码器学习低维主流形坐标进行粗粒度语义分组,并在每个组内使用 TopK 稀疏自编码器进行质量感知稀疏特征覆盖。实验表明,MASS 在多个预算下均优于现有强基线,并在某些情况下仅使用少量数据即可达到或超越使用完整数据训练的效果。
1. 研究背景与动机
在监督微调数据规模不断扩大的背景下,从大规模候选池中选择高价值数据子集对于降低训练成本和提高模型性能至关重要。现有方法通常在原始嵌入空间中直接测量多样性,但几何度量容易受到主导语义方向、细粒度监督差异和局部噪声的干扰。
2. 方法概述
MASS(Manifold and Sparse Feature Coverage)通过将数据选择问题建模为层次化覆盖问题来解决上述挑战。其主要步骤包括:
- 粗粒度语义分组:利用密集自编码器学习低维主流形坐标,将数据分组到不同的语义簇中。
- 质量感知稀疏特征覆盖:在每个语义簇内,使用 TopK 稀疏自编码器进行稀疏特征覆盖,确保选择的数据具有代表性的特征。
3. 实验结果
MASS 在 Vision Flan 和 LLaVA-CoT 数据集上的实验结果表明:
- 在多个预算下,MASS 始终优于现有的强基线方法。
- 在某些情况下,MASS 仅使用少量数据即可达到或超越使用完整数据训练的效果。
4. 技术亮点
- 层次化覆盖框架:将数据选择问题分解为粗粒度和细粒度两个层次,兼顾全局多样性和局部质量。
- 稀疏特征覆盖:通过 TopK 稀疏自编码器实现高效的特征选择,确保选择的数据具有代表性。
- 实验验证:在多个基准数据集上进行了广泛的实验,验证了方法的有效性。
5. 行业影响与开发者建议
MASS 为大语言模型的后训练数据选择提供了一种新的思路,能够有效降低训练成本,提高模型性能。开发者可以参考 MASS 的方法,在实际应用中根据具体需求调整参数,以实现最佳的数据选择效果。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-08-20)
主题标签: #MASS #数据选择 #大语言模型 #自编码器 #稀疏特征
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区