科技展望2017，Vol.27Issue(27) ：284.

深层网络中的梯度消失现象

周祥全 张津
科技展望2017，Vol.27Issue(27) ：284.
✕
  • NETL
  • NSTL
  • 万方数据

深层网络中的梯度消失现象

周祥全 1张津1
扫码查看

作者信息

  • 1. 成都理工大学数学地质四川省重点实验室,四川 成都 610059
  • 折叠

摘要

深度学习成为了目前的研究热点,高精度结果是其成果的主要因素之一,但其在参数训练中得以成功的关键原因是因为解决了梯度消失问题.本章证明了其梯度消失问题主要源于算法的代价函数基于神经元的激活函数的选取,最后给出了相应的解决方法.

关键词

深度学习/梯度消失/代价函数/激活函数

引用本文复制引用

基金项目

国土资源部公益性行业科研专项项目(201511079-02)

四川省国土资源厅科研项目(KJ-2017-14)

国家自然科学基金(71501019)

出版年

2017
科技展望
宁夏科技信息研究所

科技展望

ISSN：1672-8289
被引量9
参考文献量2
段落导航相关论文