基于脉冲序列标识的深度脉冲神经网络时空反向传播算法
Spiking Sequence Label-Based Spatio-Temporal Back-Propagation Algorithm for Training Deep Spiking Neural Networks
王子华 1叶莹 2刘洪运 3许燕 1樊瑜波 1王卫东4
作者信息
- 1. 北京航空航天大学生物与医学工程学院 北京 100191
- 2. 北京航空航天大学生物与医学工程学院 北京 100191;华北计算技术研究所 北京 100083
- 3. 中国人民解放军总医院医学创新研究部生物工程研究中心 北京 100853;工业和信息化部生物医学工程与转化医学重点实验室 北京 100853
- 4. 北京航空航天大学生物与医学工程学院 北京 100191;中国人民解放军总医院医学创新研究部生物工程研究中心 北京 100853;工业和信息化部生物医学工程与转化医学重点实验室 北京 100853
- 折叠
摘要
尖峰放电的脉冲神经网络(SNN)具有接近大脑皮层的信号处理模式,被认为是实现大脑启发计算的重要途径.但是,目前对于深度脉冲神经网络的学习仍缺乏有效的监督学习算法.受尖峰放电速率标识的时空反向传播算法的启发,该文提出一种面向深度脉冲神经网络训练的基于时间脉冲序列标识的监督学习算法,通过定义突触后电位和膜电位反传迭代因子分别分析脉冲神经元的空间和时间依赖关系,使用替代梯度的方法解决反传过程中不连续可微的问题.不同于现有基于尖峰放电速率标识的学习算法,该算法能够充分反映脉冲神经网络输出的时间脉冲序列的动态特性.因此,所提算法非常适合应用于需要较长时间序列标识的计算任务,例如行为的时间脉冲序列控制.该文在静态图像数据集CIFAR10和神经形态数据集NMNIST上验证了所提算法的有效性,在所有这些数据集上都显示出良好的性能,这有助于进一步研究基于时间脉冲序列应用的大脑启发计算.
Abstract
Spiking Neural Networks(SNN)have a signal processing mode close to the cerebral cortex,which is considered to be an important approach to realize brain-inspired computing.However,the lack of effective supervised learning algorithms for deep spiking neural networks has been a great challenge for spiking sequence label-based brain-inspired computing tasks.A supervised learning algorithm for training deep spiking neural network is proposed in this paper.It is an error backpropagation algorithm that uses surrogate gradient to solve the problem of non-differentiable spike generation function,and define the postsynaptic potential and membrane potential reversal iteration factors represent the spatial and temporal dependencies of pulsed neurons,respectively.It differs from existing learning algorithms based on firing rate encoding,fully reflects analytically the temporal dynamic properties of the spiking neuron.Therefore,the algorithm proposed in this paper is well-suited for application to tasks that require longer time sequences rather than spiking firing rates,such as behavior control.The proposed algorithm is validated on the static image datasets CIFAR10,and the neuromorphic dataset NMNIST.It shows good performance on all these datasets,which helps to further investigate spike-based brain-inspired computation.
关键词
脉冲神经网络/监督学习/误差反向传播/时间脉冲序列标识/替代梯度Key words
Spiking Neural Networks(SNN)/Supervised learning/Error backpropagation/Temporal spike sequence labeling/Surrogate gradient引用本文复制引用
基金项目
科技创新—-2030"新一代人工智能"重大项目(2020AAA0105800)
出版年
2024
NETL
NSTL
万方数据