首页|卷积神经网络中SPReLU激活函数的优化研究

卷积神经网络中SPReLU激活函数的优化研究

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将"S"型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Soft-plus三种激活函数优点,提出了一种新型激活函数SPReLU.实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性.
Research on Optimization of SPReLU Activation Function in Convolutional Neural Network

吴婷婷、许晓东、吴云龙

展开 >

江苏大学计算机科学与通信工程学院 镇江 212013

卷积神经网络 激活函数 梯度消失 神经元死亡 ReLU

2021

10.3969/j.issn.1672-9722.2021.08.026

计算机与数字工程
中国船舶重工集团公司第七0九研究所

计算机与数字工程

CSTPCD
影响因子：0.355
ISSN：1672-9722
年,卷(期)：2021.49(8)
  • 6
  • 8