摘要
情绪指人们对客观事物的态度感受及其相应的行为反映。有效的情绪识别对于实现脑机接口的智能化和人性化具有重要意义。因脑电信号具有时间分辨率高、信噪比高和无创采集等优点，基于脑电的情绪识别已经成为计算机科学、认知科学等众多领域的研究热点。随着深度学习及其相关技术的迅速发展，卷积神经网络、循环神经网络、图神经网络等一系列网络模型因其强大的学习表征能力，被不断应用于情绪识别研究中。虽然基于脑电信号的情绪识别研究已取得诸多进展，但是依然存在一些问题亟须解决。其中，如何从不平稳的脑电信号中有效地提取情绪特征以及如何解决脑电信号存在的个体差异性问题是论文重点研究的问题。 论文围绕以上两个问题，分别从特征生成和特征挖掘的角度展开研究。通过构建特定的数据形式，将其应用于不同的深度学习方法中，让模型有效地学习脑电信号的情绪特征表示，进而提高模型在情绪识别任务的有效性和泛化性。 论文的主要研究工作如下: (1)建立了基于域生成图网络的脑电情绪识别模型，提取到了更具判别性的情绪表征。该模型的主体框架由生成器、判别器和分类器三大模块组成。关键的生成器模块由图卷积神经网络和长短时记忆网络构成，目的提取脑电信号在潜在空间上的关键特征表示。通过设计特定的源域和目标域数据集，结合对抗式学习策略，缩小了两者特征分布差异。同时，生成器可以得到更通用的脑电特征，从而有效地提高了模型在情绪识别任务上的有效性和泛化性。为了验证所提出的域生成图网络的有效性，本文在公开的脑电标准数据集DEAP和SEED上分别进行了大量的实验。在DEAP数据集中的实验结果表明，模型的情绪识别性能明显优于经典的机器学习算法和最先进的深度学习方法。在效价和唤醒度的二元分类中，被试依赖实验的平均准确率达到了 96.98％和97.19％,被试独立实验的平均准确率达到了94.87％和94.42％。另外，在SEED数据集上的积极和消极情绪状态的二元分类中，论文提出的域生成图网络模型也取得了优异的性能，在被试依赖实验和被试独立实验的平均正确率分别达到了 97.28％和83.84％。实验结果表明了本文提出的域生成图网络在脑电情绪识别方向上的可行性和优越性。 (2)建立了基于对比学习图网络的跨被试脑电情绪识别模型，降低了不同被试的脑电信号存在的差异性。该模型的主体框架由编码器、投影器和分类器三大模块组成。编码器的网络架构借鉴上文中提到的域生成网络中的生成器。与之不同的是，将对比学习的思想引入到图卷积神经网络和长短时记忆网络的混合模型中。同时，通过构建特定的正负样本和对比学习损失函数，最小化了被试之间的个体差异性以实现跨被试的脑电信号情绪分类。在SEED数据集上进行被试独立实验的结果显示，在积极和消极情绪状态的二元分类中达到84.96％的平均准确率。实验结果证明了对比学习图网络模型能够充分地学习到脑电信号中不同情绪状态的特征表示，降低了不同被试脑电信号中的个体差异性，从而有效地提高了跨被试脑电情绪识别性能。 综上所述，论文提出的基于域生成图网络的脑电情绪识别模型以及基于对比比学习图网络的跨被试脑电情绪识别模型，在提取更具可分性的脑电情绪特征方面以及降低不同被试之间脑电信号的差异方面，均表现出了良好的性能，在基于脑电的情绪识别方面上具有稳健性和优越性。两者结合，将共同促进脑电情绪识别领域的发展，并且有助于推动人机交互技术的加速发展和应用部署。
NETL