摘要
情感是人类在日常生活中随着意识产生的心理和生理状态。情感识别是实现人-机情感交互的基础和核心技术。随着深度学习相关技术的快速发展，情感识别已经成为计算机科学、认知科学等多门领域的研究热点。脑电信号作为大脑皮层的生理信号，能够直接体现人类的情感状态，与面部表情和行为姿势等人体外在信号相比，脑电信号具备不可欺骗性，因此基于脑电信号的情感识别研究具有实际意义。本文将脑电信号作为情感识别的依据，分别使用CNN-LSTM网络模型和图神经网络中的模型实现对脑电信号的情感分类。本文主要研究内容如下： （1）提出了一个基于CNN-LSTM网络的脑电信号情感识别模型。该模型对预处理后的62个通道的脑电信号分别采用一维卷积神经网络自主提取情感特征。然后，将62个通道的特征序列依次输入到长短期记忆网络（LongShort-termMemory，LSTM），利用LSTM提取多通道融合情感特征。最后，将LSTM输出的多通道融合情感特征输入到全连接层和softmax分类器，实现对积极、中性、消极这三种情感的分类识别。在脑电情感数据集SEED上进行了情感识别实验，获得了88.15%的平均识别率。除此之外，使用了一个基于LSTM网络的脑电信号情感识别模型，该模型输入的是脑电信号每个通道的情感特征，利用LSTM网络提取多通道融合情感特征。最后，将LSTM输出的多通道融合情感特征输入到全连接层和softmax分类器，实现对情感的分类识别。最终在基于微分熵特征的情感分类实验中取得了83.24%的平均分类准确率。实验结果表明，本文所提出的CNN-LSTM模型效果更好，验证了该方法的可行性和有效性。 （2）提出了一个基于图卷积神经网络的脑电信号情感识别模型，该模型输入的是脑电信号每个通道的情感特征。通过图卷积层中的切比雪夫滤波器提取脑电信号情感特征在空间结构上的关联性，图卷积层的输出特征向量输入到全连接层，最终使用softmax分类器实现情感的分类，情感类别总共有三类，分别是积极、中性、消极。在SEED数据集上进行了实验，最终在基于微分熵特征的实验中取得了83.68%的平均分类准确率。与基于LSTM网络模型的方法相比，基于图卷积神经网络的方法取得的实验结果略胜一筹，表明图卷积神经网络对脑电信号建模的可行性。 （3）为了进一步提高脑电信号情感识别的准确率，提出了一个基于图注意力网络的脑电信号情感识别模型。该模型对输入的脑电情感特征进行情感分类，情感类别为积极、中性、消极三种。本文所设计的图注意力网络共包含两层图注意力层，第一层用于聚合邻居节点的特征，第二层用于实现情感的分类。其中，在第一层图注意力层中分别使用单头注意力机制和四头注意力机制。在SEED数据集上进行了实验，最终在基于微分熵特征的四头图注意力机制的实验中获得了90.22%的平均识别率，相比基于CNN-LSTM模型的实验提升了2.07%，验证了该方法的有效性。
NETL