摘要
脉冲神经网络（SpikingNeuralNetwork,SNN）是一种受人脑结构和功能启发的机器学习算法，被称为第三代神经网络。目前，SNN在人工智能领域中的应用十分广泛，特别是在时空信息处理和节能计算方面表现出了巨大的潜力。然而，随着深度学习问题的日益复杂，SNN网络的参数数量也进一步增大。这导致SNN在硬件上运行占用的空间内存和时间成本极大。为了更高效地使用SNN，需要轻量化技术对SNN进行压缩。为此，本论文选择张量分解理论构建张量化SNN模型，分别对三类数据集进行分类实验，以验证其压缩性能。取得了如下的结果： 第一、通过把四种基本张量分解方法（张量列、标准分解/平行因子、高阶主成分分析、张量环（TensorRing,TR））应用于SNN卷积层和全连接层，总结了张量化卷积层和全连接层分解的模式：卷积分解为多次卷积、全连接分解为多次张量缩并。在此基础上，理论分析表明，TR网络模型相对更优。同时，证明了张量化SNN的空间利用率和计算效率均高于原始网络。 第二、通过在典型数据集上对四种张量化SNN实验，发现其均可以实现在对SNN参数量和计算量进行压缩的同时，准确率损失值不大。并且，卷积层上TR分解在同样的参数压缩率和计算量下，有更高的网络准确率；全连接层上在相同的准确率损失下，TR分解所需参数量也更少，网络参数压缩率更低，与张量化SNN的理论分析相符。 第三、通过在静态、动态视觉和语音三种分类数据集上的实验发现，张量化SNN可以在网络压缩率在1%-2%、乘加计算量压缩5-10倍的情况下，保持准确率损失不超过5%，表明张量化SNN有轻量化效果显著、模型泛化能力高的特点。对比现有算法结果，张量化网络能在保证准确率损失在5%-8%以内时，网络压缩率进一步降低；在相同压缩率下，比现有大部分方法准确率损失更小。 本研究表明，张量分解对于轻量化SNN是非常有效的，在分类任务上泛化能力强。同时，相对于现有的方法，它表现出了更强的性能优势，为SNN的轻量化提供了新的解决方案。本研究充分结合了张量分解和SNN，并总结了张量化网络模型的相关模式，从而为新的张量分解方法的应用和性能测试提供了支持和参考。
NETL