开源库py-evoFE发布:基于遗传算法的自动化特征工程工具
文 / Mr.Xu 社区投稿
发布时间: · 6 次阅读
摘要:近日,开发者Tanopereira发布了开源Python库py-evoFE(版本0.3.0),该库利用遗传算法实现自动化特征工程,专注于为表格数据生成、优化复杂特征。py-evoFE通过层次化特征组合、40多种内置转换器以及多群体并行搜索等机制,帮助开发者更高效地发现高价值特征,提升模型性能。该工具兼容Scikit-Learn生态系统,并提供交互式回放功能,为机器学习竞赛和生产模型提供了一种创新解决方案。
开源库py-evoFE发布:基于遗传算法的自动化特征工程工具
近日,开发者Tanopereira在GitHub上发布了开源Python库py-evoFE(版本0.3.0),该库旨在通过遗传算法实现表格数据的自动化特征工程。以下是py-evoFE的核心功能与特点:
核心功能
- 层次化特征组合:通过进化算法生成复杂特征,这些特征可作为后续进化的基础,例如
log(ratio(groupby_mean(x1, by=x2), x3))。 - 内置转换器:提供40多种内置转换器,包括非线性算术、目标编码(多类、池化、WOE、分位数目标编码)、字符串相似性(MinHash、Gap编码)、流形与降维(PCA、UMAP、MCA、FAMD、组间PCA)以及图与密度聚类(Genie、Lumbermark、MST异常评分)。
- 性能优化:
- 利用Polars和PyArrow实现向量化计算。
- 通过矩阵哈希和最近邻缓存消除跨CV折叠的冗余计算。
- 采用多保真度筛选机制,快速低保真度CV筛选初始种群,仅有潜力的候选者进入全保真度评估。
- 多群体并行搜索与集成:
- 支持环形、环形网格、超立方体和分层拓扑结构的多群体并行搜索,并采用Gibbs迁移策略。
- 在搜索后对岛胜者进行贪婪的Caruana集成。
- 交互式回放功能:用户可以通过
view(evo.get_recipe())生成一个自包含的零依赖HTML仪表板,回放进化搜索过程。 - Scikit-Learn兼容:实现
fit、transform、predict和predict_proba方法,可直接集成到标准的sklearn.pipeline.Pipeline和GridSearchCV中。
为什么选择py-evoFE而非暴力特征生成?
传统的暴力特征生成库会一次性生成数千个特征,导致严重的过拟合并占用大量内存。而py-evoFE通过进化选择压力和复杂性惩罚来发现更紧凑、更简洁的特征组合,从而提高模型的泛化能力。
开发者建议
- 试用与反馈:欢迎开发者将py-evoFE应用于自己的数据集或Kaggle竞赛中,并在GitHub上提交反馈、问题和功能请求。
- 适用场景:该工具特别适用于需要处理复杂表格数据的场景,如金融、医疗和科学研究领域。
技术亮点
- 遗传算法与特征工程结合:通过进化机制自动发现复杂特征组合,超越传统手工特征工程。
- 性能优化:利用向量化计算和缓存机制提升处理速度,降低内存消耗。
- 多群体并行搜索:支持多种拓扑结构的多群体并行搜索,提升搜索效率。
行业影响
py-evoFE的发布为表格数据的特征工程提供了一种全新的自动化解决方案,有望提升机器学习模型的性能与开发效率,尤其在处理复杂数据集时表现出色。该工具的开放源码特性也使其成为研究人员和开发者的宝贵资源。
—— 完 ——消息来源:Reddit r/MachineLearning (2026-08-27)
主题标签: #py-evoFE #遗传算法 #特征工程 #开源库 #Scikit-Learn
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区