ArXiv提出双目标代理引导集成搜索方法,提升神经网络集成性能
文 / Mr.Xu 社区投稿
发布时间: · 3 次阅读
摘要:ArXiv团队提出了一种双目标代理引导的集成搜索方法,通过独立训练两个代理模型来估计预测准确性和多样性潜力,从而高效识别出既强又多样化的神经网络架构。该方法在FashionMNIST、CIFAR-10和CIFAR-100数据集上的实验表明,最终集成模型在性能上优于或与Deep Ensembles和随机搜索等传统基线方法相当,为提升神经网络集成的质量和效率提供了新的技术路径。
背景与挑战
集成方法(Ensembles)是提升深度神经网络性能和鲁棒性的常用手段,但其有效性高度依赖于个体模型的质量和多样性。然而,大多数神经网络架构搜索(NAS)方法计算成本高昂,将其扩展到神经网络集成搜索(NES)时,由于需要同时优化个体架构及其集成组合,搜索空间呈指数级增长,导致问题在计算上变得不可行。
方法与创新
ArXiv团队提出了一种双目标代理引导的集成搜索方法,主要创新点包括:
-
双目标代理模型:
- 候选架构被表示为有向无环图(DAG)。
- 两个独立的代理模型分别用于估计预测准确性和多样性潜力。
- 通过联合估计指导NES框架,高效识别出既强又多样化的架构。
-
高效搜索策略:
- 通过代理模型的引导,显著降低了搜索空间复杂度。
- 避免了传统NES方法中计算成本过高的问题。
-
实验验证:
- 在FashionMNIST、CIFAR-10和CIFAR-100数据集上进行了广泛实验。
- 结果表明,最终集成模型在性能上优于或与Deep Ensembles和随机搜索等传统基线方法相当。
技术亮点
- 代理模型的高效性:通过代理模型估计准确性和多样性,避免了对每个候选架构进行完整训练的需求。
- 多样性优化的创新性:不仅关注个体模型的性能,还强调集成模型的多样性,从而提升了整体鲁棒性。
- 跨数据集的泛化能力:在多个数据集上的实验验证了方法的有效性和泛化能力。
行业影响与开发者建议
该方法为神经网络集成搜索提供了一种高效且可扩展的解决方案,尤其适用于计算资源有限但对模型性能要求较高的场景。开发者可以参考以下建议:
- 应用场景:适用于需要高鲁棒性和多样性的任务,如自动驾驶、医疗诊断和金融预测等。
- 优化策略:结合代理模型和多样性优化策略,可以进一步提升集成模型的性能。
- 未来方向:探索更复杂的代理模型结构和更高效的搜索算法,以进一步提升NES的效率和效果。
—— 完 ——消息来源:ArXiv cs.LG (2026-07-29)
主题标签: #ArXiv #神经网络 #集成搜索 #代理模型 #多样性优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区