计算机视觉领域深度神经网络的自适应神经进化方法

扫码查看

原文链接

NETL

中文摘要：计算机视觉领域的理论技术广泛应用于学术研究，工业生产和日常生活中。近年来，得益于人工智能研究的突飞猛进，深度神经网络（Deep Neural Network，DNN）已经成为计算机视觉领域的关键技术。随着计算机视觉应用的不断扩充，高效构建各类型的DNN已成为计算机视觉领域的前沿研究课题，由此可自动构建DNN架构的神经架构搜索方法的研究应运而生。现有的神经架构搜索方法主要专注于单一类型的DNN架构设计，缺乏通用性较高且兼顾DNN性能和规模的方法。为了应对以上问题，本研究提出了一种可自动化构建计算机视觉领域中不同类型DNN架构的神经架构搜索方法。该方法的搜索空间具备自适应性，且其搜索策略基于进化算法，因此被命名为自适应神经进化。主要研究内容如下： 1.提出了一种三层级进化搜索空间。计算机视觉领域采用不同类型的DNN处理相应的计算机视觉任务，本研究详细分析了这些不同类型DNN的共性和差异，整合了全局搜索空间高自由度特性和单元搜索空间高效率特性，将进化搜索空间划分为微观组成模块层、介观功能单元层和宏观任务区域层三个层级。根据计算机视觉任务中不同类型的DNN设计需求，三层级进化搜索空间可自适应地调节各层级设置，以实例化对应类型DNN的进化搜素空间。实验结果表明，三层级进化搜索空间可自适应实例化卷积神经网络、生成对抗网络和YOLO网络等类型DNN的搜索空间。 2.提出了一种生长型进化搜索策略。该搜索策略首先初始化一群相同的最小规模DNN架构，然后在进化搜索过程中利用多粒度进化操作从各个层级逐步增加DNN规模，以构建需求性能下规模极小的DNN架构。为了应对初始进化群体多样性不足问题，生长型进化搜索策略根据进化群体中个体基因型距离，通过聚类算法将进化群体划分为差异较大的多个进化种群，采用种间隔离和种内竞争的选择策略维护了进化群体的多样性。实验结果表明，生长型进化搜索策略可协同优化不同类型DNN架构的性能和规模。 3.提出了一套进化搜索优化方案。方案中，进化超参数动态调整策略根据进化搜索状态适时调整进化搜索设置，保证了进化过程的稳定性；年龄性能混合选择操作通过基于年龄和性能的多重选择操作消除了性能评估的不精确性对进化搜索的潜在误导，平衡了搜索的探索性和勘探性；趋收敛性能评估机制通过优化评估DNN参数趋于性能收敛，大幅降低了计算资源和时间开销。实验结果表明，进化搜索优化方案有效提升了进化搜索的稳定性和效率。

作者：

帅真浩

展开 >

关键词：

计算机视觉深度神经网络神经架构搜索自适应神经进化

授予学位：

博士

学科专业：

计算机应用技术

导师：

刘洪波

学位年度：

2023

学位授予单位：

大连海事大学

语种：

中文

中图分类号：