智客 ZICQ
EN 登录 / 注册
智客信息 开源AI #py-evoFE #遗传算法 #特征工程 #开源库 #Scikit-Learn

开源库py-evoFE发布:基于遗传算法的自动化特征工程工具

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:近日,开发者Tanopereira发布了开源Python库py-evoFE(版本0.3.0),该库利用遗传算法实现自动化特征工程,专注于为表格数据生成、优化复杂特征。py-evoFE通过层次化特征组合、40多种内置转换器以及多群体并行搜索等机制,帮助开发者更高效地发现高价值特征,提升模型性能。该工具兼容Scikit-Learn生态系统,并提供交互式回放功能,为机器学习竞赛和生产模型提供了一种创新解决方案。


开源库py-evoFE发布:基于遗传算法的自动化特征工程工具

近日,开发者Tanopereira在GitHub上发布了开源Python库py-evoFE(版本0.3.0),该库旨在通过遗传算法实现表格数据的自动化特征工程。以下是py-evoFE的核心功能与特点:

核心功能

  1. 层次化特征组合:通过进化算法生成复杂特征,这些特征可作为后续进化的基础,例如 log(ratio(groupby_mean(x1, by=x2), x3))。
  2. 内置转换器:提供40多种内置转换器,包括非线性算术、目标编码(多类、池化、WOE、分位数目标编码)、字符串相似性(MinHash、Gap编码)、流形与降维(PCA、UMAP、MCA、FAMD、组间PCA)以及图与密度聚类(Genie、Lumbermark、MST异常评分)。
  3. 性能优化:
    • 利用Polars和PyArrow实现向量化计算。
    • 通过矩阵哈希和最近邻缓存消除跨CV折叠的冗余计算。
    • 采用多保真度筛选机制,快速低保真度CV筛选初始种群,仅有潜力的候选者进入全保真度评估。
  4. 多群体并行搜索与集成:
    • 支持环形、环形网格、超立方体和分层拓扑结构的多群体并行搜索,并采用Gibbs迁移策略。
    • 在搜索后对岛胜者进行贪婪的Caruana集成。
  5. 交互式回放功能:用户可以通过 view(evo.get_recipe()) 生成一个自包含的零依赖HTML仪表板,回放进化搜索过程。
  6. Scikit-Learn兼容:实现 fit、transform、predict 和 predict_proba 方法,可直接集成到标准的 sklearn.pipeline.Pipeline 和 GridSearchCV 中。

为什么选择py-evoFE而非暴力特征生成?

传统的暴力特征生成库会一次性生成数千个特征,导致严重的过拟合并占用大量内存。而py-evoFE通过进化选择压力和复杂性惩罚来发现更紧凑、更简洁的特征组合,从而提高模型的泛化能力。

开发者建议

  • 试用与反馈:欢迎开发者将py-evoFE应用于自己的数据集或Kaggle竞赛中,并在GitHub上提交反馈、问题和功能请求。
  • 适用场景:该工具特别适用于需要处理复杂表格数据的场景,如金融、医疗和科学研究领域。

技术亮点

  • 遗传算法与特征工程结合:通过进化机制自动发现复杂特征组合,超越传统手工特征工程。
  • 性能优化:利用向量化计算和缓存机制提升处理速度,降低内存消耗。
  • 多群体并行搜索:支持多种拓扑结构的多群体并行搜索,提升搜索效率。

行业影响

py-evoFE的发布为表格数据的特征工程提供了一种全新的自动化解决方案,有望提升机器学习模型的性能与开发效率,尤其在处理复杂数据集时表现出色。该工具的开放源码特性也使其成为研究人员和开发者的宝贵资源。


消息来源:Reddit r/MachineLearning (2026-08-27)

—— 完 ——

主题标签: #py-evoFE #遗传算法 #特征工程 #开源库 #Scikit-Learn

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…