摘要
脑机接口系统（BrainComputerInterfaceSystem，BCIs）是一种不依靠外周神经通路和肌肉等常规信息传递通道来控制外部设备的系统。传统单脑运动想象脑机接口作为最常见的主动式脑-机交互范式，存在信息传输速率较低、稳定性差等问题，难以满足快速、高精度、多指令等复杂作业的性能需求。近几年，越来越多的学者开始研究如何将基于脑电的脑机接口单脑范式向多脑扩展，以得到更稳定的分类结果。与此同时，深度学习强大的学习性能也给脑电的解码带来了新的技术与方法。综上，本论文开展了基于深度学习的多脑运动想象脑电解码研究。本文先通过脑电超扫描技术记录多脑运动想象脑电数据，其次通过深度学习算法对多脑运动想象脑电信号解码研究，最后设计并开发了多脑运动想象脑机在线分类系统，主要的研究内容与结果包括： （1）针对传统过滤器组共空间模式（FilterBankCommonSpatialPattern，FBCSP）无法端到端学习多脑特征的局限性，本文提出基于时间适应性共空间模式网络（TemporallyAdaptiveCommonSpatialPatternsNeuralNetworks，TA-CSPNN）深度学习模型的多脑运动想象脑电解码方法。本文首先根据FBCSP的算法步骤，逐层构建了TA-CSPNN模型，结合深度学习分类器完成脑电信号的端到端分类。其次，设计了三种多脑融合策略：数据层融合、特征层融合、决策层融合，最后将它们应用在TASCP-NN模型上，验证其在多脑运动想象上的可行性。实验结果表明，多脑融合TA-CSPNN模型相比单脑分类有着显著的稳定性提升，决策层融合的TA-CSPNN模型更是有着显著的准确率提升。 （2）针对TA-CSPNN在深层融合单脑高维特征导致多脑脑电有效信息丢失的问题，本文提出改进SincNet深度学习模型的运动想象脑电解码方法—运动想象正弦网络（MotorImagerySincNet，MI-SincNet），并将其应用于多脑运动想象脑电解码。MI-SincNet首先通过在第一层设计自适应脑电频带的滤波器组学习低截止频率和高截止频率，减少参数量的同时也更好地提取脑电频带特征信息。其次，沿着通道与时间方向对浅层信号输入进行卷积，获取脑电信号的时空信息。再次，减少了网络深层的节点数，降低了大量的计算开销。最后，根据MI-SincNet在浅层提取特征的特点，同样从数据层、特征层、决策层三种层次设计了三种多脑融合模型。多脑运动想象数据集上的实验结果表明，MI-SincNet在单脑分类上比原始SincNet、CNN、LSTM和TA-CSPNN具有更佳的分类性能。三种MI-SincNet的多脑融合模型同样表现出良好的分类效果，并且在浅层进行特征融合的MI-SincNet模型拥有着最高的分类精度。 （3）设计并开发了一个基于多脑运动想象的脑机分类系统。该系统以MI-SincNet的特征层融合算法模型为基础，在对多人进行在线运动想象脑电信号识别的任务场景中，可以同时对每个受试者的脑电信号和多脑融合脑电信号进行解码，从而可在三种任务状态：空闲、想象左手、想象右手实现高精度分类判别。系统使用仪表盘可视化显示识别速度和识别精度，可以实时看到单脑脑电信号和多脑脑电信号的分类效果。
NETL