长江信息通信2024,Vol.37Issue(8) :1-3,17.DOI:10.20153/j.issn.2096-9759.2024.08.001

基于Winograd算法的3D卷积神经网络权重剪枝方法

3D Convolutional Neural Networks Weight Pruning Based on Winograd Algorithm

邹贵 秦子然 吴捷 刘国梁 赵军 王迎雪 林晖 林巍峣
长江信息通信2024,Vol.37Issue(8) :1-3,17.DOI:10.20153/j.issn.2096-9759.2024.08.001

基于Winograd算法的3D卷积神经网络权重剪枝方法

3D Convolutional Neural Networks Weight Pruning Based on Winograd Algorithm

邹贵 1秦子然 2吴捷 3刘国梁 3赵军 3王迎雪 4林晖 4林巍峣2
扫码查看

作者信息

  • 1. 上海交通大学电子信息与电气工程学院,上海 200240;中国航空无线电电子研究所,上海 200233
  • 2. 上海交通大学电子信息与电气工程学院,上海 200240
  • 3. 中国航空无线电电子研究所,上海 200233
  • 4. 中国电子科技集团有限公司电子科学研究院,北京 100041
  • 折叠

摘要

针对3D卷积神经网络在资源有限的环境下高计算成本的挑战,文章提出了一种融合Winograd算法和网络剪枝技术的3D卷积神经网络优化方法.首先,将标准3D卷积层替换为效率更高的3D Winograd层,实现对卷积操作的优化.接着,对3D Winograd层的权重进行重要性评估,保留重要的权重单元并剪枝获得稀疏模型.最后,对稀疏模型进行重训练,恢复剪枝后网络的性能.通过结合Winograd算法和网络剪枝技术,能够在提高识别准确度的同时,显著降低了模型的计算需求.实验结果证实,与其他优化技术相比,本方法能有效减少计算资源消耗,同时保持甚至提高识别性能.

Abstract

In response to the high computational demands of 3D Convolutional Neural Networks(CNNs)in environments with limited resources,this paper proposes an optimization approach that synergizes the Winograd algorithm with network pruning techniques.Firstly,the method replaces conventional 3D convolution layers with more efficient 3D Winograd layers to expedite convolution processes.Secondly,it involves assessing the importance of weights within the 3D Winograd layers,which facilitates the formation of a sparse model via pruning.Finally,the sparse model is retrained to further recover network performance.This combined use of the Winograd algorithm for computational efficiency and network pruning for model simplification results in a substantial reduction in computational needs while maintaining or improving the ac-curacy of recognition.Comparative experimental results affirm the proposed approach signifi-cantly minimizes computational resource use,maintaining or even boosting recognition capabili-ties compared to other optimization methods.

关键词

3D卷积神经网络优化/Winograd算法/网络剪枝

Key words

Optimization of 3D CNNs/Winograd Algorithm/Network Pruning

引用本文复制引用

出版年

2024
长江信息通信
湖北通信服务公司

长江信息通信

影响因子:0.338
ISSN:2096-9759
段落导航相关论文