智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #ArXiv #神经网络 #集成搜索 #代理模型 #多样性优化

ArXiv提出双目标代理引导集成搜索方法,提升神经网络集成性能

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 3 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种双目标代理引导的集成搜索方法,通过独立训练两个代理模型来估计预测准确性和多样性潜力,从而高效识别出既强又多样化的神经网络架构。该方法在FashionMNIST、CIFAR-10和CIFAR-100数据集上的实验表明,最终集成模型在性能上优于或与Deep Ensembles和随机搜索等传统基线方法相当,为提升神经网络集成的质量和效率提供了新的技术路径。


背景与挑战

集成方法(Ensembles)是提升深度神经网络性能和鲁棒性的常用手段,但其有效性高度依赖于个体模型的质量和多样性。然而,大多数神经网络架构搜索(NAS)方法计算成本高昂,将其扩展到神经网络集成搜索(NES)时,由于需要同时优化个体架构及其集成组合,搜索空间呈指数级增长,导致问题在计算上变得不可行。

方法与创新

ArXiv团队提出了一种双目标代理引导的集成搜索方法,主要创新点包括:

  1. 双目标代理模型:

    • 候选架构被表示为有向无环图(DAG)。
    • 两个独立的代理模型分别用于估计预测准确性和多样性潜力。
    • 通过联合估计指导NES框架,高效识别出既强又多样化的架构。
  2. 高效搜索策略:

    • 通过代理模型的引导,显著降低了搜索空间复杂度。
    • 避免了传统NES方法中计算成本过高的问题。
  3. 实验验证:

    • 在FashionMNIST、CIFAR-10和CIFAR-100数据集上进行了广泛实验。
    • 结果表明,最终集成模型在性能上优于或与Deep Ensembles和随机搜索等传统基线方法相当。

技术亮点

  • 代理模型的高效性:通过代理模型估计准确性和多样性,避免了对每个候选架构进行完整训练的需求。
  • 多样性优化的创新性:不仅关注个体模型的性能,还强调集成模型的多样性,从而提升了整体鲁棒性。
  • 跨数据集的泛化能力:在多个数据集上的实验验证了方法的有效性和泛化能力。

行业影响与开发者建议

该方法为神经网络集成搜索提供了一种高效且可扩展的解决方案,尤其适用于计算资源有限但对模型性能要求较高的场景。开发者可以参考以下建议:

  • 应用场景:适用于需要高鲁棒性和多样性的任务,如自动驾驶、医疗诊断和金融预测等。
  • 优化策略:结合代理模型和多样性优化策略,可以进一步提升集成模型的性能。
  • 未来方向:探索更复杂的代理模型结构和更高效的搜索算法,以进一步提升NES的效率和效果。

消息来源:ArXiv cs.LG (2026-07-29)

—— 完 ——

主题标签: #ArXiv #神经网络 #集成搜索 #代理模型 #多样性优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…