基于ArcReLU函数的神经网络激活函数优化研究

扫码查看

原文链接

国家科技期刊平台
NETL
NSTL
万方数据
维普

中文摘要：近年来深度学习发展迅猛.由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较.针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU.实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题.

外文标题：Optimization of Activation Function in Neural Network Based on ArcReLU Function

作者：

许赟杰、徐菲菲

展开 >

作者单位：

上海电力学院计算机科学与技术学院,上海,200090

关键词：

神经网络激活函数反正切函数 ArcReLU

基金：

国家自然科学基金国家自然科学基金上海市教育发展基金会和上海市教育委员会

项目编号：

6127243761305094资助项目13CG58资助项目

出版年：

2019

数据采集与处理

中国电子学会中国仪器仪表学会信号处理学会　中国仪器仪表学会中国物理学会微弱信号检测学会　南京航空航天大学

数据采集与处理

CSTPCDCSCD北大核心

影响因子：0.679

ISSN：1004-9037

年,卷(期)：2019.34(3)

被引量17
参考文献量8