首页|基于脉冲序列标识的深度脉冲神经网络时空反向传播算法

基于脉冲序列标识的深度脉冲神经网络时空反向传播算法

扫码查看
尖峰放电的脉冲神经网络(SNN)具有接近大脑皮层的信号处理模式,被认为是实现大脑启发计算的重要途径.但是,目前对于深度脉冲神经网络的学习仍缺乏有效的监督学习算法.受尖峰放电速率标识的时空反向传播算法的启发,该文提出一种面向深度脉冲神经网络训练的基于时间脉冲序列标识的监督学习算法,通过定义突触后电位和膜电位反传迭代因子分别分析脉冲神经元的空间和时间依赖关系,使用替代梯度的方法解决反传过程中不连续可微的问题.不同于现有基于尖峰放电速率标识的学习算法,该算法能够充分反映脉冲神经网络输出的时间脉冲序列的动态特性.因此,所提算法非常适合应用于需要较长时间序列标识的计算任务,例如行为的时间脉冲序列控制.该文在静态图像数据集CIFAR10和神经形态数据集NMNIST上验证了所提算法的有效性,在所有这些数据集上都显示出良好的性能,这有助于进一步研究基于时间脉冲序列应用的大脑启发计算.
Spiking Sequence Label-Based Spatio-Temporal Back-Propagation Algorithm for Training Deep Spiking Neural Networks
Spiking Neural Networks(SNN)have a signal processing mode close to the cerebral cortex,which is considered to be an important approach to realize brain-inspired computing.However,the lack of effective supervised learning algorithms for deep spiking neural networks has been a great challenge for spiking sequence label-based brain-inspired computing tasks.A supervised learning algorithm for training deep spiking neural network is proposed in this paper.It is an error backpropagation algorithm that uses surrogate gradient to solve the problem of non-differentiable spike generation function,and define the postsynaptic potential and membrane potential reversal iteration factors represent the spatial and temporal dependencies of pulsed neurons,respectively.It differs from existing learning algorithms based on firing rate encoding,fully reflects analytically the temporal dynamic properties of the spiking neuron.Therefore,the algorithm proposed in this paper is well-suited for application to tasks that require longer time sequences rather than spiking firing rates,such as behavior control.The proposed algorithm is validated on the static image datasets CIFAR10,and the neuromorphic dataset NMNIST.It shows good performance on all these datasets,which helps to further investigate spike-based brain-inspired computation.

Spiking Neural Networks(SNN)Supervised learningError backpropagationTemporal spike sequence labelingSurrogate gradient

王子华、叶莹、刘洪运、许燕、樊瑜波、王卫东

展开 >

北京航空航天大学生物与医学工程学院 北京 100191

华北计算技术研究所 北京 100083

中国人民解放军总医院医学创新研究部生物工程研究中心 北京 100853

工业和信息化部生物医学工程与转化医学重点实验室 北京 100853

展开 >

脉冲神经网络 监督学习 误差反向传播 时间脉冲序列标识 替代梯度

科技创新—-2030"新一代人工智能"重大项目

2020AAA0105800

2024

电子与信息学报
中国科学院电子学研究所 国家自然科学基金委员会信息科学部

电子与信息学报

CSTPCD北大核心
影响因子:1.302
ISSN:1009-5896
年,卷(期):2024.46(6)