陕西师范大学学报(自然科学版)2020,Vol.48Issue(2) :32-37.

面向深度卷积神经网络的确定性连接丢弃算法

A deterministic DropConnect algorithm for deep convolutional neural networks

李鸿杨 潘静 何宇清 庞彦伟
陕西师范大学学报(自然科学版)2020,Vol.48Issue(2) :32-37.

面向深度卷积神经网络的确定性连接丢弃算法

A deterministic DropConnect algorithm for deep convolutional neural networks

李鸿杨 1潘静 2何宇清 1庞彦伟1
扫码查看

作者信息

  • 1. 天津大学 电气自动化与信息工程学院,天津 300072
  • 2. 天津大学 电气自动化与信息工程学院,天津 300072;天津职业技术师范大学 电子工程学院,天津 300222
  • 折叠

摘要

针对深度卷积神经网络中存在的过拟合问题,本文提出了一种确定性连接丢弃的正则化方法.核心思想是根据不同卷积滤波器权重对结果的贡献度不同,确定性丢弃卷积层层间连接,通过降低卷积滤波器权重的空间维度,使得卷积神经网络各层之间的连接更稀疏.通过将算法应用于图像分类任务来验证算法的性能,在MNIST、CIFAR-10和CIFAR-100数据集上,错误率分别为0.32%、5.33%、26.88%,相比于原始实验错误率分别降低0.15%、1.09%、1.36%.实验表明,本算法能够有效处理深度卷积神经网络的过拟合问题,并能提升网络的鲁棒性和泛化能力.

关键词

深度学习/卷积神经网络/正则化/连接丢弃

引用本文复制引用

基金项目

国家自然科学基金(61472274)

出版年

2020
陕西师范大学学报(自然科学版)
陕西师范大学

陕西师范大学学报(自然科学版)

CSTPCDCSCD北大核心
影响因子:0.563
ISSN:1672-4291
被引量1
参考文献量1
段落导航相关论文