摘要
随着信息技术的发展，计算机技术在人们的生活和工作中的应用越来越广泛。更智能的人机交互，是提升生活品质和工作效率的关键因素。情感状态的自动识别是提高人机交互性能的重要途径之一。脑电(Electroencephalogram，EEG)信号作为大脑皮层神经元最真实的反应，其与人类的情感有密切的关联。深度学习的理论和模型近年来不断完善，其在复杂的大数据处理方面的优势逐渐显现。因此，基于深度学习和EEG信号的情感识别逐渐成为情感计算领域的研究热点。 虽然现有基于深度学习的EEG情感识别研究已经取得了一定的成果，但仍然存在一些问题。首先，不同情感状态下的脑区间的同步性变化和空间域信息容易被忽视。其次，如何表征单一EEG通道独有特征和通道间相关性特征，并充分利用这些特征来提升识别表现，也是急需解决的关键问题。针对上述问题，本文开展了相应的研究和探索，所做工作如下： （1）为了验证EEG通道间的同步性变化表征情感状态的能力，提出一种基于同步性度量和深度学习结合的特征提取方法。该方法首先使用最大信息系数(MaximumInformationCoefficient,MIC)来度量所有EEG通道对的同步性特征，并依据EEG电极的空间位置信息构造灰度特征图像，以达到更丰富的情感特征表征。然后，使用一种名为主成分分析网络(PrincipalComponentAnalysisNetwork,PCANet)的无监督深度神经网络来提取特征灰度图中的高层次情感特征。最后使用支持向量机(SupportVectorMachine,SVM)进行情感识别。实验表明，基于同步性度量的EEG特征能有效表征情感状态，且PCANet能有效地提取同步性和空间域特征，提升情感识别的表现。 （2）为了能够利用多通道EEG信号的空间域信息，进而提取更有效的情感区分特征，提出了一种基于多频带特征矩阵和深度胶囊网络(CapsulesNetwork,CapsNet)的情感识别方法。该方法首先提取每一通道EEG的功率谱密度(PowerSpectralDensity,PSD)特征，然后依据传感器在大脑皮层的排列位置，构造包含了频域特征、空间域信息和频带信息的多频带特征矩阵。最后使用深度胶囊网络进行情感识别。实验表明多通道EEG信号间的空间域特征能为情感识别带来增益，且胶囊网络能有效捕获空间位置特征信息，提升情感识别的表现。 （3）为了能够充分利用单一通道EEG信号的独有特征和脑区多通道相关特征来提升情感识别表现，提出了一种使用多通道三维特征和多元卷积神经网络(ConvolutionalNeuralNetwork,CNN)的情感识别方法。该方法首先提取单一通道的时域特征，根据电极排列规则构造三维特征矩阵，以达到更接近大脑真实反映的特征表征。其次通过多元CNN进行情感识别。实验表明，三维特征矩阵能更有效的表征多通道EEG信号中的情感特征，且多元CNN能充分利用单一通道特征和通道间的相关特征，提升情感识别表现。 为了验证本文算法的有效性，设计并实现了一个基于脑电信号的情感识别系统。该系统首先播放刺激视频以采集情感相关脑电信号，其次使用本文所提算法对脑电信号进行预处理和特征提取。然后，特征被输入到深度学习模型中进行情感识别。最后，系统输出用户的情感状态。该系统达到了预期的效果。
NETL