摘要
开展情感识别研究对促进人机智能交互发展具有重要意义，其研究成果在辅助诊断、智慧教育和安全驾驶等诸多领域具有广泛应用前景。脑电信号具有无创测量、时间分辨率高、设备便携性好以及成本较低等优点，使得基于脑电信号进行情感识别已经成为研究热门。脑电情感识别技术主要从两个方面进行研究：一方面是利用信号处理的方法，对脑电信号进行特征提取，如何提取特征并有效利用多种特征所包含的情感信息是当前研究亟待解决的问题；另一方面是从识别模型的角度出发，使用机器学习或者深度学习的方法进行分类识别，如何设计一种兼具识别性能好、模型复杂度低的识别模型是当前研究要解决的问题。本文对时域、频域和时频域特征使用t检验方法进行特征选择，结合模糊认知图对格兰杰因果脑网络特征进行改进，设计了基于脑区注意力机制的多特征融合1DCNN情感识别模型。具体的研究工作如下： (1)选取DEAP脑电情感数据库作为研究对象，结合数据本身特点，对数据进行预处理，得到有效的情感数据。在特征提取和优化选择方面，本文开展了两项研究。一是提取常用的时域、频域和时频域特征作为特征全集，采用t检验方法进行特征选择，选出更适于情感分类的特征子集，即被选择的时频(Selected Time Frequency, STF)特征。二是针对提取因果脑网络特征时没有考虑到多电极通道间的相互影响，导致情感识别的准确率不高的问题，提出一种结合改进的模糊认知图(Improved Fuzzy Cognitive Maps, IFCM)和格兰杰因果(Granger Causality, GC)分析构建脑网络特征的方法。首先对脑电信号使用GC分析以电极通道作为节点构建脑网络，然后使用电极通道位置信息对FCM的训练过程进行改进，最后使用IFCM考虑节点间相互关系对GC脑网络进行建模改进，提取得到IFCM-GC特征。同样使用支持向量机作为识别模型的情况下，IFCM-GC特征较GC和 FCM-GC 特征的平均识别率都有所提升，表明了此方法能有效考虑多电极通道间的相互影响和电极通道位置信息，很好的挖掘脑电信号中包含的情感信息。 (2)在识别模型方面，针对卷积神经网络(Convolutional Neural Networks, CNN)存在的参数量大且参数寻优方法费事费力的问题，提出一种多特征融合1DCNN模型的识别方法。首先针对STF特征设计了一种具有可解释性的三级特征融合1DCNN模型，三级分别实现时频特征融合、左右脑区信息内部融合和左右脑区间的加权融合，这种设计方法减小了模型的复杂度。同样地，针对IFCM-GC特征设计了二级特征融合1DCNN模型，分别实现脑区信息内部融合和脑区间的加权融合。接着使用多通道并行卷积神经网络架构将设计的两个1DCNN模型结合，提出多特征融合1DCNN模型，在效价维、激励维和效价-激励维四分类的平均识别率分别达到了99.13%、98.98%和98.41%，与现阶段先进方法相比有所提升。此外，在计算能力有限情况下，注意力机制可以将计算资源分配给更重要的任务。本文依据左右脑区功能的差异性设计了一种脑区注意力机制，将其嵌入到多特征融合1DCNN模型。基于脑区注意力机制的多特征融合1DCNN模型在效价维、激励维和效价-激励维四分类的平均识别率分别达到了 99.29%、99.22%和 98.97%，以仅增加几十个参数量为代价得到了更好的识别性能。
NETL