首页|深度神经网络结构搜索综述

深度神经网络结构搜索综述

Survey on neural architecture search

扫码查看
原文链接
  • NETL
  • NSTL
  • 维普
  • 万方数据
深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计.神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错.为此,自动化的神经网络结构搜索成为研究热点.神经网络结构搜索(neural architecture search,NAS)主要由搜索空间、搜索策略与性能评估方法3部分组成.在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构.根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构.在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等.在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间.与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能.在Ima-geNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30％的计算量,并且top-1分类精度提升了3.2％;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比(mean intersection over union,mIOU),同时减小一半以上的计算量.神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势.

唐浪、李慧霞、颜晨倩、郑侠武、纪荣嵘

展开 >

厦门大学信息学院人工智能系媒体分析与计算实验室,厦门 361005

人工智能 计算机视觉 深度神经网络 强化学习 进化算法 神经网络结构搜索(NAS)

国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家重点研发计划项目国家重点研发计划项目江西省重点研发计划项目广东省联合基金重点项目

U1705262617724436157241061802324617021362017YFC01130002016YFB100150320171ACH800222019B1515120049

2021

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2021.26(2)
  • 8
  • 97