摘要
脊髓损伤(SpinalCordInjury,SCI)是由脊柱受损导致脊髓传播神经信号功能障碍的严重疾病。SCI往往使脊柱受损位置以下的躯体会出现运动障碍甚至瘫痪,对患者本人的身体和心理造成巨大的伤害。现阶段,脑机接口(BrainComputerInterface,BCI)技术已经在临床环境中被用于对脊髓损伤患者的康复和治疗。通过基于运动想象(MotorImagery,MI)的脑机接口系统能够实现对脊髓损伤病人的神经再生促进和外部设备控制,对于脊髓损伤病人具有非常大的意义。 对于MI的脑电图信号进行解码是构建基于MI的BCI系统的重要一环,也是实现对患者脑活动认知与分析的关键环节。当下对MI脑电图(electroencephalogram,EEG)信号解码算法的研究虽然取得了相当大的进展,但依旧存在难以捕捉任务相关的全脑活动、算法稀疏性不足和落地困难等问题。本文为了解决上述几个问题,在常用的注意力机制中选择了自注意力(Self-Attnetion,SA)机制构建了EEG解码模型,并依靠深度特征可视化和SA机制的脑活动捕捉对SCI病人进行了脑活动分析。以下是本研究的主要内容: 1.针对SCI患者MI的EEG信号进行时-频-空域分析,提取了共空间模式特征和改进S变换特征,构建基于Transformer神经网络的MI分类模型,被称为Time-frequencyandSpatialTransformer(TFS-TR)。在该模型中,从EEG信号中提取的频域和空域特征向量输入到Transformer神经网络中进行多次SA深度特征编码,最后通过全连接层输出分类结果,达到93.56%的正确率。通过构建注意力矩阵脑网络,发现注意力头所关注的通道连接与EEG原始信号构建的脑网络具有相似性。本研究在对两种脑网络的表现进行多方面分析后发现,SA点积脑网络在脑活动分析中具有非常大的潜力。SA点积脑网络能够去除不体现样本差异的相关连接,为临床中的脑活动分析提供更有区分性的方法。 2.为解决Transformer网络在基于运动想象的EEG数据集上表现不佳的问题,本文引入了专家混合层(MixtureofExperts,MoE)和基于Kullback-Leibler散度的注意力池化机制:ProbSparseSelf-attention来对Transformer网络进行稀疏性改进。本研究提出了一种在SCI患者MI-EEG信号的空域特征以及频域特征上构建基于改进的Transformer神经网络分类模型的方法,被称为EEGMoE-Prob-Transformer(EMPT),该模型在本文所用的SCI运动想象EEG数据集上取得了95.24%的正确率。在该模型中,从EEG信号中提取的时频域和空域特征被作为单通道的特征嵌入输入到改进的Transformer神经网络中通过注意力池化机制后进行特征重建,再依靠MoE层中的专家模型进行稀疏性映射,最后通过全连接层输出结果。通过充分的消融实验和对注意力池化模块和MoE的分析,解释了两种模块对于Transformer神经网络的改进效果。 3.为了解决MI-EEG信号识别模型落地困难的问题,本研究构建MI-BCI系统的边缘端部署方案。使用边缘计算的方案对MI-BCI系统进行部署相较于使用云计算方案拥有信号处理时延低、数据安全性高以及成本较低的优势。利用IntelNeuralComputeStick2、JetsonAGXXavier、无线脑电采集设备、傅里叶X1型下肢动力外骨骼等设备构建了边缘计算所需的硬件平台,以满足边缘计算设备方案要求。对所提出的TFS-TR和EMPT模型利用剪枝和量化的技术方案进行稀疏轻量化处理,使其能够在边缘环境中进行部署。经过实验,在边缘环境中部署的模型取得了十分良好的成绩,达到了在临床环境中服务SCI病人的需求。