摘要
近些年来，神经信息解码领域引起了广泛的关注，通过研究脑活动与人脑接收刺激之间的关系对大脑的神经信息进行解码，从而推断大脑的功能机制。脑电图(Electroencephalography，EEG)是一种非侵入式的、能够直观的表征大脑神经元活动的可靠技术。得益于人工智能技术的高速发展，通过EEG信号对脑部神经信息解码变得切实可行，并取得了一定的进展。研究具有可解释性的神经信息解码方法不仅能够促进人们对大脑神经加工机制的理解，而且能够为开发脑机交互范式与类脑机器调控感知提供新的视角。基于此目的，本文基于深度学习开展情绪识别、运动想象、稳态视觉诱发电位(Steady-State Visual Evoked Potentials，SSVEP)任务下的神经信息解码方法研究，在提高解码精度的前提下，有效克服EEG层面解码神经信息领域中存在的信噪比低、特征单一和强异质性等问题。本文的主要内容及创新点如下： (1)针对情绪识别领域中模态信息单一、特征提取不充分和反应程度的强异质性问题，本研究提出了一种综合时、频、空间域特征信息的多尺度卷积深度学习方法，将时间序列EEG信号转换为包含时频信息的3D脑图结构，并保持不同通道在空间位置上的相对距离。其次，模型采用多尺度卷积架构对3D脑图进行分类识别，连接长短时记忆网络与自注意力机制用于对脑电信号进行时序特征学习，利用情绪时间特征中相邻片段方差小、相似度高的特点，使用完整数据段作为训练和测试替代传统的混合数据方式。在多个数据集上的研究结果表明，相同训练方式的基础上本研究所提出的模型具有更好的情绪识别解码效果。 (2)针对运动想象解码任务中频谱-空间表征不足和类别可分性问题，本研究提出了一种基于滤波器组分析的多尺度特征卷积网络方法。该方法聚焦于中低频段的频谱滤波，使用窄带滤波器组将数据划分为多视图表示，采用共空间模式实现EEG空间特征定位，提升频谱-空间信息提取能力。其次，引入滑动窗口与多头注意力机制，扩充EEG数据可训练量。使用TCNet结构提取EEG中的高级时间信息输出分类，最大程度的降低类内可变性提高类间可分性。在基准数据集上的分析结果表明，本研究所提出的多尺度特征卷积方法能够在有限的数据下学习到可概括的判别特征，具有更高的解码精度。 (3)针对SSVEP频率识别任务中异步检测能力不足、跨被试泛化性差以及高度依赖手动特征提取与校准数据问题，本研究提出滤波器组频率-相位特征架构的可分离卷积双向时间记忆网络。使用滤波器组分析方法提取SSVEP基频信号与多谐波分量中包含的频率-相位信息，并映射到脑部空间作为网络输入。使用可分离卷积实现更小体积、更快速度的特征自学习模式，加入谱归一化与标签平滑技术对网络进行正则化提升泛化能力。采用时间记忆层挖掘数据段内部的时间依赖性，形成数据段与网络节点间端到端的映射输出。在两个独立数据集上验证了受试者内与跨受试者的分类表现，结果表明本研究所提出的可分离卷积时间记忆网络方法能够克服跨被试差异性大的问题，提高跨被试测试方式的解码精度。
NETL