arXiv发布LIDFS：基于局部内在维度的无监督特征选择新方法

摘要：arXiv近日发布了一种名为LIDFS的无监督特征选择新方法，旨在解决高维数据对机器学习算法效率和效果的影响。LIDFS基于局部内在维度（LID），通过将数据矩阵转置并估计每个特征的LID值，筛选出具有更高局部判别力的特征。该方法无需任何标签信息，运行时间复杂度为O(d²n)，在23个高维数据集上的评估中，LIDFS在监督学习和聚类任务中均表现出色，展示了其在处理高维数据降维问题中的潜力。

---

技术机制剖析

LIDFS（Local Intrinsic Dimensionality-based Feature Selection）是一种基于局部内在维度的无监督特征选择方法。其核心思想是将数据矩阵转置，使每个特征被视为一个点，并通过计算每个特征与其k个最近邻特征之间的距离来估计其LID值。LID值越低，表示该特征的局部判别力越强，因此被赋予更高的重要性分数。

该方法的关键步骤包括：

1. 数据矩阵转置：将特征视为点，以便于计算特征间的距离。
2. LID估计：使用最大似然估计方法计算每个特征的LID值。
3. 特征排序与筛选：根据LID值对特征进行排序，并保留每个特征邻域中的一个代表性特征，去除局部冗余特征。

工程权衡与实测表现

LIDFS的优势在于其无需任何标签信息即可进行特征选择，且运行时间复杂度为O(d²n)，在处理高维数据时具有较高的效率。实验结果表明，LIDFS在23个高维数据集上的表现优于经典和最先进的方法，以及随机基线。在监督评估中，LIDFS排名第一，在基于聚类的评估中排名第一或并列第二。

然而，LIDFS也存在一些局限性。例如，其性能对邻域大小较为敏感，较小的邻域大小通常能带来更好的结果。此外，尽管LIDFS在处理高维数据时表现出色，但在处理极大规模的数据集时，其计算开销仍然较高。

开发者落地与部署建议

对于开发者而言，LIDFS提供了一种无需标签信息即可进行特征选择的新方法，特别适用于数据标签稀缺或无法获取的场景。以下是一些部署建议：

• 数据预处理：在应用LIDFS之前，建议对数据进行标准化处理，以确保特征间距离计算的准确性。
• 邻域大小选择：根据数据集的具体情况，选择合适的邻域大小以获得最佳性能。
• 并行计算：对于极大规模的数据集，可以考虑使用并行计算技术来加速LIDFS的计算过程。

结论

LIDFS是一种有效的高维数据无监督特征选择方法，其在多个基准测试中的优异表现展示了其在处理高维数据降维问题中的潜力。尽管存在一些局限性，但其无需标签信息的特性使其在许多实际应用中具有广泛的应用前景。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-02)

—— 完 ——

主题标签： #无监督学习 关注 #特征选择 关注 #高维数据 关注 #机器学习 关注 #arXiv 关注