首页|卷积神经网络中激活函数的性质分析与改进

卷积神经网络中激活函数的性质分析与改进

扫码查看
原文链接
  • 万方数据
  • 维普
为了提高卷积神经网络模型的效率,针对激活函数进行了研究.通过研究多种激活函数的发展进程,列举各类激活函数的性质,以及在分析模型前向传播和反向传播中激活函数所起到的作用的基础上,提出了改进的激活函数ReLU-XeX,有效的缓解了梯度消失、"神经元坏死"等问题.在MNIST、CIFAR-10、CIFAR-100、MSTAR数据集上的试验结果表明,改进的激活函数ReLU-XeX整体表现强于其它的一些激活函数,且在模型的收敛速度上有所提升.对激活函数的性质进行了较为深入的研究,将激活函数的理论和实际表现进行了对照,用算法仿真论证了改进的激活函数ReLU-XeX在理论上存在的优势.
Analysis and Improvement of Properties of Activation Functions in Convolutional Neural Networks

张焕、张庆、于纪言

展开 >

南京理工大学机械工程学院,江苏 南京210094

图像识别 深度学习 卷积神经网络 激活函数 反向传播

国防科学技术预研基金

KO01071

2022

计算机仿真
中国航天科工集团公司第十七研究所

计算机仿真

CSTPCD北大核心
影响因子：0.518
ISSN：1006-9348
年,卷(期)：2022.39(4)
  • 10
  • 10