摘要
在深度学习领域，深度卷积神经网络(DeepConvolutionalNeuralNetwork,DCNN)是应用最为广泛的神经网络类型，在图像分类、目标检测、自然语言处理等任务中表现出卓越的性能。DCNN的优化问题也是深度学习领域的核心问题之一，选择合适的优化器参数和网络结构，对最终模型的实现效果至关重要。一方面，随着网络深度的增加，局部最优点和鞍点出现更为频繁，影响优化算法的性能和效率;另一方面，网络结构的设计更加繁琐，即使设计者在深度学习和任务目标领域都具有专业知识，仍然需要花费大量的资源和时间设计性能良好的网络,这使得DCNN的参数及其结构搜索优化成为研究热点问题。 由于具有全局寻优、鲁棒性强等优点，群体智能算法在路径规划、电力系统、智能交通和网络安全等众多领域取得了广泛的应用，在DCNN的参数和结构优化方面也有学者进行了一些探索性的工作，该领域的研究方兴未艾。因此，本文基于蚁群优化对深度卷积神经网络DCNN进行优化，主要的工作概括如下: (1)在DCNN的参数优化方面，经典的随机梯度下降算法容易陷入局部最优、鞍点或者震荡，且现有的群体智能DCNN优化器计算量巨大，针对这些问题，本文利用了梯度下降算法的梯度信息作为引导，结合连续域蚁群优化的思想，提出了新的ACOR-SGD优化器。将最近的批次的训练作为样本，以一定频率和概率地使用ACOR算法生成梯度进行优化。同时，将该机制推广到更先进的动量梯度下降算法、均方根传播算法和自适应矩估计算法上，将基于ACOR机制的四类优化器以及各自的原始版本进行图像分类训练。实验结果表明，在大多数情况下使用基于蚁群算法的优化器测试集的准确率要优于对应的原始版本，同时训练结果更加稳定。 (2)在DCNN的结构优化上，针对现有基于演化算法的神经网络结构搜索算法计算量大、效果欠佳的问题，本文提出了基于蚁群的神经网络结构搜索算法ACOR-CNN。首先ACOR-CNN提出了一种基于ACOR的搜索策略，将整个种群及其对应网络结构作为学习对象，越优秀的个体的网络层将越可能保留下来。其次,ACOR-CNN允许在不同深度的种群中搜索最佳结构;再者，它将全连接层独立开来进行更新个体以确保更新产生的网络有效;最后使用了一种ε贪心策略生成个体,增加了种群的多样性，避免搜索后期种群结构过于单一。本文使用ACOR-CNN以及同类型的多种算法在五种数据集上进行实验，并研究了训练优化对ACOR-CNN的影响。实验结果表明，ACOR-CNN在其中两种数据集下优于同类型算法，而在其他数据集的结果依然具备相当的竞争力。
NETL