摘要
情绪识别在人机交互、心理健康监测和安全驾驶等多个领域都具有非常重要的应用意义。近年来，深度学习因其强大的学习能力被广泛地用于情绪识别研究，取得了显著的进展。然而，目前相关研究仍存在难以提取更能全面表征情绪的脑电特征、单一模态情绪表征不够充分等问题。因此，本文将围绕脑电信号与面部表情展开情绪识别的研究，一方面，提出一种基于脑电信号的单模态情绪识别方法，提高脑电情绪识别的准确性；另一方面，提出一种基于脑电信号与面部表情的多模态情绪识别方法，旨在挖掘模态特征之间的互补性，进一步提高情绪识别的准确性和可靠性。本文的主要工作内容如下： （1）针对很少考虑脑电通道的交互特征和更加有效的脑电特征融合方法等问题，提出基于时空特征和通道交互特征的脑电单模态情绪识别模型（STCUEN）。首先，对原始脑电数据进行预处理，并计算被试的CWF矩阵。其次，使用深度可分离卷积和空洞卷积分别提取脑电相邻通道和相距较远通道之间的空间特征，并紧接着使用一维卷积提取它们的时间特征，提高脑电时空特征的质量。同时，通过一维全局卷积和二维局部卷积提取CWF的通道交互特征。最后，通过GFA模块融合时空特征和通道交互特征，进一步提升分类精度。实验结果表明，该模型在SEED数据集上取得了95.17%的准确率，在DEAP数据集的效价和唤醒度的维度上分别获得了95.32%和95.59%的准确率，证明了该模型的有效性。 （2）针对单一模态情绪表征不够充分的问题，提出基于注意力机制的脑电信号与面部表情的多模态情绪识别模型（AMN-EF）。首先，对面部视频按照一定的频率截取面部表情图片，并进行预处理。其次，引入STCUEN模型作为脑电信号的特征提取模块。然后，提出了一个面部表情特征提取模块，通过 CNN提取面部图片的空间特征，再使用 LSTM 进一步提取时间特征。最后，通过典型相关分析的约束充分挖掘模态特征间的相关性，并通过注意力机制强化对重要特征的关注，然后对其进行融合。实验结果表明，该模型在DEAP数据集的效价和唤醒度的维度上分别取得了97.45%和97.61%的准确率，证明了该模型的有效性和优越性。
NETL