摘要
卷积神经网络作为深度学习最有代表性的模型之一具有复杂度高、参数多、透明性低的特点，如黑盒一般，缺乏可解释性。目前卷积神经网络可解释性的研究成果众多，其中基于类激活映射的方法被广泛应用于计算机视觉任务中来解释“黑盒”卷积神经网络模型的决策。Grad-CAM是最常见的一种基于类激活映射的方法，该方法可以有效生成类激活图并对模型决策进行可视化的解释。然而由Grad-CAM生成的类激活映射具有明显的噪声，并且Grad-CAM只能生成粗粒度级别的类激活图，含有较多的冗余信息。 针对Grad-CAM的类激活图噪声问题，由于Grad-CAM方法在梯度计算过程中会产生梯度噪声，导致生成的类激活图中存在明显的噪声，因此本文在Grad-CAM方法中引入了NoiseGrad,提出一种基于噪声梯度的改进Grad-CAM方法。该方法的核心思想是通过在模型中引入噪声来消除输出类激活图中的噪声。 针对Grad-CAM的类激活图粗糙问题，由于Grad-CAM仅采用通道维度加权来关注通道特征重要性，忽视了通道内部的空间像素重要性，因此本文在NGrad-CAM基础上引入了空间加权，提出一种基于空间和通道加权的改进NGrad-CAM方法。该方法的核心思想是采用空间加权和通道加权相结合的方式生成类激活图，通过空间加权找到位置信息，通过通道加权找到特征信息，从而生成更精准的类激活图。 最后，在ILSVRC2012测试集上进行可视化实验和定量实验来评估提出的方法和现有方法，其中定量实验使用平均下降率、平均上升率和一致性系数作为评估标准。实验结果表明，本文提出的方法在ResNet18、ResNet50和DenseNet161三种不同的神经网络模型上均优于现有方法，可以生成噪声更少、粒度级别更精细的类激活图。此外，消融实验的结果表明，将空间加权和通道加权相结合的方法优于仅进行一种加权的方法。
NETL