摘要
图像分类一直是计算机视觉领域中的一个重要研究任务，而卷积神经网络（ConvolutionalNeuralNetwork，简称CNN）在图像分类任务中扮演着关键角色。但是早期CNN架构均通过专家手工设计，对专业性要求很高，并且找到正确合适的架构是相当耗时、费力且易出错的任务，这限制了CNN的应用。 为了突破手工设计神经网络架构的瓶颈，研究者们提出了神经网络架构搜索（NeuralArchitectureSearch,简称NAS）算法。其中，可微分神经架构搜索（DifferentiableArchitectureSearch，简称DARTS）模型使用基于梯度的可微分搜索策略进行架构搜索，它有效地解决了传统NAS算法中存在的高运算高成本开销难题，成为当前NAS算法研究中的主要对象。但是DARTS在搜索阶段使用共享权重参数的单元堆叠成的代理网络进行搜索，这样做影响了模型的稳定性并且在搜索阶段和评估验证阶段存在着深度和宽度不连续的问题。为了解决上述DARTS中存在的问题，提高模型架构的性能，本文开展了如下优化研究： （1）针对当前DARTS模型的准确率还有可优化空间,远距离信息获取不足等问题在搜索空间上进行了两方面优化，一是提出了新的算子，使得模型具有更大感受野进而可以获取更多局部信息，二是在宏观的网络架构中加入了残差结构来加强信息传递过程，通过上述两种方法提出的改进模型DARTS-VAN降低了原模型的不稳定性，提高了准确率。 （2）针对DARTS的搜索策略上存在着深度鸿沟的问题，本文提出了双重渐进式搜索策略，在模型架构深度上进行渐进式搜索的同时还在宽度层面的通道维度上进行渐进式搜索，使得模型架构在搜索阶段与评估阶段之间更加连续，旨在减小在两个阶段间的架构性能差异。 （3）针对双重渐进式搜索策略占用显存较大，搜索单元拓扑结构时间长的问题，本文采用了部分通道裁剪搜索策略进行加速。将特征矩阵中通道的一部分进行搜索操作，其余通道直接跳过操作，最后将这两部分合并得到新的特征矩阵，搜索时间和计算成本大大减少。 （4）本文将双重渐进式搜索策略和部分通道裁剪搜索策略结合提出了双重渐进式快速可微分神经网络架构搜索模型DPF-DARTS，并且针对使用部分通道裁剪搜索策略导致模型跳跃连接等弱参数操作聚集的问题引入了边正则化方法，将每条边的权重由架构参数和边权重参数共同决定，增强了模型整体的稳定性。 本文从理论层面分析了上述改进方法对模型搜索时间的减少、架构性能的优化以及对DARTS缺陷的有效解决。通过实验，本文在CIFAR-10数据集上验证了两个模型的有效性。此外，本文还将模型迁移到ImageNet数据集上来对模型的迁移性进行了验证，同样取得了较好的有竞争力的实验结果。
NETL