首页|基于滤波器分布拟合的神经网络剪枝算法

基于滤波器分布拟合的神经网络剪枝算法

扫码查看
原文链接
  • 万方数据
  • 维普
随着人工智能技术的迅猛发展,深度神经网络在不断地加深与变宽,模型的计算量快速增加,神经网络模型的高存储和高功耗的需求也随之产生.网络剪枝是实现模型压缩和加速的一种有效方法.常见的剪枝方法遵循"较小规范-不重要"的标准来对滤波器进行修剪,认为范值较小的滤波器重要性较低,可以安全地修剪掉.针对删去重要性较小的滤波器容易导致滤波器范数分布不均衡的问题,文中提出了一种拟合原始滤波器范数分布的剪枝算法.该算法不仅可以筛选出拟合了原始范数分布的滤波器,还能删去冗余的滤波器.实验表明该算法在两个数据集上的模型压缩效果均优于对比实验.其中,在CIFAR-10数据集上压缩基于ResNet110的图像分类模型的效果明显,最终在减少了62％以上的FLOPs的情况下,相对准确率仅降低了0.14％.
Deep Convolutional Neural Networks Pruning Algorithm Based on Filter Pruning via Distribution Fitting

张佳钰、寇金桥、刘宁钟

展开 >

南京航空航天大学 计算机科学与技术学院,江苏 南京 211106

北京计算机技术及应用研究所 方舟重点实验室,北京 100854

深度学习 模型压缩 网络剪枝 分布拟合 滤波器剪枝

国家自然科学基金

61375021

2022

10.3969/j.issn.1673-629X.2022.12.021

计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子：0.621
ISSN：1673-629X
年,卷(期)：2022.32(12)
  • 2
  • 2