计算机应用研究2021,Vol.38Issue(6) :1870-1873.DOI:10.19734/j.issn.1001-3695.2020.06.0202

改进型的batch normalization:BNalpha

Improvement of batch normalization:BNalpha

罗晨辉 孙洪飞
计算机应用研究2021,Vol.38Issue(6) :1870-1873.DOI:10.19734/j.issn.1001-3695.2020.06.0202

改进型的batch normalization:BNalpha

Improvement of batch normalization:BNalpha

罗晨辉 1孙洪飞1
扫码查看

作者信息

  • 1. 厦门大学 航空航天学院,福建 厦门361101
  • 折叠

摘要

针对提高卷积神经网络(convolutional neural network,CNN)在图像识别方向的训练速度和识别准确率进行了研究.从BN(batch normalization)着手,通过新增参数对BN的仿射变换进行具体调节,并提出一种改进型的BN——BNalpha.除去带有某些特定结构的神经网络,相对于原始的BN,BNalpha可以在不增加运算复杂度的前提下,提升神经网络的训练速度和识别准确度.通过对BN仿射变换的参数进行分析和对比,尝试解释BN在网络中的运行机理,并以此说明BNalpha相对于BN的改进为何生效.最后通过CIFAR-10和CIFAR-100数据集以及不同类型的卷积神经网络结构对BNalpha和BN进行对比实验分析,实验结果表明BNalpha能够进一步提升训练速度和识别准确度.

关键词

卷积神经网络/深度学习/图像识别/批标准化

引用本文复制引用

基金项目

国家自然科学基金(61273153)

国家自然科学基金(61374037)

出版年

2021
计算机应用研究
四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心
影响因子:0.93
ISSN:1001-3695
被引量1
参考文献量15
段落导航相关论文