计算机研究与发展2021,Vol.58Issue(1) :22-33.DOI:10.7544/issn1000-1239202120190851

深度神经架构搜索综述

Deep Neural Architecture Search : A Survey

孟子尧 谷雪 梁艳春 许东 吴春国
计算机研究与发展2021,Vol.58Issue(1) :22-33.DOI:10.7544/issn1000-1239202120190851

深度神经架构搜索综述

Deep Neural Architecture Search : A Survey

孟子尧 1谷雪 1梁艳春 1许东 2吴春国3
扫码查看

作者信息

  • 1. 符号计算与知识工程教育部重点实验室(吉林大学) 长春130012;符号计算与知识工程教育部重点实验室珠海分实验室(吉林大学珠海学院) 广东珠海519041
  • 2. 密苏里大学哥伦比亚分校电子工程与计算机科学系 美国密苏里州哥伦比亚M065211
  • 3. 符号计算与知识工程教育部重点实验室(吉林大学) 长春130012
  • 折叠

摘要

深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果然而,针对特定任务,人工设计网络需要花费大量的时间,并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构,仅依靠人工进行设计变得越来越复杂基于此,借助算法自动地对神经网络进行架构的搜索成为了研究热点神经架构搜索的方法涉及3个方面:搜索空间、搜索策略、性能评估策略通过搜索策略在搜索空间中选择一个网络架构,借助性能评估策略对该网络架构进行评估,并将结果反馈给搜索策略指导搜索策略选择更好的网络架构,通过不断迭代得到最优的网络架构为了更好地为读者提供一个快速了解神经网络架构搜索方法的导航地图,从搜索空间、搜索策略和性能评估策略3个方面对现有典型的神经架构搜索方法进行了梳理,总结讨论了近年来常见的架构搜索方法,并分析了各种方法的优势和不足.

关键词

深度学习/神经架构搜索/搜索空间/搜索策略/性能评估

引用本文复制引用

基金项目

国家自然科学(61972174)

国家自然科学(61876069)

国家自然科学(61876207)

吉林省重点研发项目(20180201045GX)

吉林省重点研发项目(20180201067GX)

吉林省自然科学(20200201163JC)

广东省科技计划项目(2020A0505100018)

广东省应用基础研究重点项目(2018KZDXM 076)

广东省优势重点学科项目(2016GDYSZDXK036)

出版年

2021
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
被引量7
参考文献量64
段落导航相关论文