摘要
深度卷积神经网络如今已成为计算机视觉中应用十分普及的技术手段。通常，加宽加深卷积神经网络模型可达到更好的性能，但是由此带来计算量和参数量的迅速增加。在实际应用中，受限于其计算量和参数量，深度模型的部署仍然存在一些问题，因此通过网络剪枝和压缩来减少规模的研究变为首要目标。 针对目前的分类模型剪枝领域中存在理论依据不强和如今仍需人工预设每层剪枝率这两个问题，本论文分别提出了两种有效的剪枝方法。 1、基于深度学习的自适应全局剪枝方法。该方法通过一个激活权值生成模块（AWGM）自适应地从输入特征图中得到网络中每个滤波器的整体激活权值，并通过全局排序来选择保留重要的滤波器而修剪相对次要的滤波器。在此基础上，针对深层的网络结构部分具有高度特异性的特点，进行基于类别的剪枝，保留对不同类别的输入图像响应差异较大的滤波器。在AUC数据集上的实验表明，这两种方法在ResNet上剪枝前后，在准确率降低不超过1.1%的基础上，只保留原模型50%左右的计算量和参数量。 2、基于深度学习的多支路剪枝方法。现有的单层注意力模块由于上一层的细节信息在网络传播的过程中可能在下一层丢失，存在学习能力不足和很难调整对重点区域的关注的问题。为此，本方法利用深度连接通道注意力机制，将模型中所有的模块进行联合训练，并设计了连接上一层输出和当前层的双支路结构，融合浅层信息和深层信息，提高了注意力模块的学习能力，使不同通道对输入信息的响应程度更加敏感；进一步结合本论文提出的自适应全局剪枝方法，实现了更好的模型剪枝效果。另外，本方法不受基础网络架构限制，具有良好的泛化性。在AUC数据集上的实验表明，本方法在VGG-19上剪枝前后，在准确率降低不超过0.6%的基础上，只保留原模型20%左右的计算量和60%左右的参数量。
NETL