深层网络中的梯度消失现象

扫码查看

原文链接

中文摘要：深度学习成为了目前的研究热点,高精度结果是其成果的主要因素之一,但其在参数训练中得以成功的关键原因是因为解决了梯度消失问题.本章证明了其梯度消失问题主要源于算法的代价函数基于神经元的激活函数的选取,最后给出了相应的解决方法.

作者：

周祥全、张津

展开 >

作者单位：

成都理工大学数学地质四川省重点实验室,四川成都 610059

关键词：

深度学习梯度消失代价函数激活函数

基金：

国土资源部公益性行业科研专项项目四川省国土资源厅科研项目国家自然科学基金

项目编号：

201511079-02KJ-2017-1471501019

出版年：

2017

科技展望

宁夏科技信息研究所

ISSN：1672-8289

年,卷(期)：2017.27(27)