摘要
在利用卷积神经网络进行训练时,往往会因为超参数调整不适而导致训练的模型不佳.研究了学习率调整方法,学习率是神经网络的一种超参数.分别对VGG16网络利用了指数衰减、余弦变化非自适应调整学习率策略与Adagrad、RMSProp、Aadm自适应调整学习率策略,还调整了不同算法中的其他相关参数.将以上策略运用在VGG16网络中,在Cifar10数据集上得到了最终的训练损失和测试精度.针对这些数据,从收敛速度、模型稳定性、训练损失、测试精度的角度进行了分析.经过对参数的调整,最后得出了在VGG16上利用SGD优化器的余弦变化策略达到的测试精度最高,其测试精度达到了88.33％,同时收敛速度比自适应学习率策略更快.
基金项目
重庆市三峡库区地质环境监测与灾害预警重点实验室开放基金(YB2020C0102)
NETL
NSTL
维普
万方数据