摘要
情绪识别技术是一门希望机器理解人类某种情绪状态进而帮助人类完成某种目的的涉及多个领域以及多个学科交叉性研究技术，得益于时代科技水平的持续更新以及获取数据设备的不断迭代，基于情绪识别的人机互动已经广泛应用于虚拟现实、辅助驾驶以及游戏开发和医疗诊断等多个领域。用于情绪识别的信号模态可以分为非生理信号模态和生理信号模态两类，（1）非生理信号模态包括面部表情（微表情）、眼动、语音和姿势等与情绪密切相关亦或是由情绪所产生结果的外在信号；（2）生理信号模态包括脑电信号、心电信号以及血容量脉冲信号和心率变异信号等不受主观意识控制的内在信号。使用低成本设备可便捷获取面部表情、语音和姿势等外在信号，然而研究发现这些外在信号易受个体误导性产生进而隐藏其真实情绪。眼动信号包括注视、扫视以及眨眼和瞳孔直径等信息，虽然获取成本较高但以一种自然的方式观察个体行为，是一种非侵入且准确的情绪研究数据源，可将其嵌入到虚拟现实等可穿戴设备。在多种生理信号中的脑电信号由于具有反应人类真实情绪而不受主观意识隐藏的优势以及脑电信号采集技术的迅速发展使其已被广泛应用于情绪识别研究。 本文使用脑电信号与眼动信号两种模态且基于机器学习和深度学习相关理论，基于混沌相空间重构理论研究脑电信号与情绪之间的内在联系，从理论上验证脑电信号中包含可用于情绪识别分类的非线性特征。为了进一步提高脑电信号的情绪识别精度提出一种新型手工特征。基于卷积神经网络和胶囊网络通过异构脑电信号与眼动信号两种模态提出一种C-CapsNet情绪识别模型架构用于提取脑电信号与眼动信号的深度特征从而实现情绪识别，解决手工特征精度高但泛化能力低的问题。具体研究内容如下： （1）针对脑电信号时序非线性以及Hurst熵反映非线性系统长期记忆性，基于变分模态分解方法强鲁棒性提出一种自适应Hurst指数变分模态分解方法，实现脑电信号降噪和脑电信号非线性特征提取，并使用相空间重构理论还原脑电信号与情绪内在联系的动力学结构，从理论上验证脑电信号与情绪非线性特征的内在联系。 （2）针对脑电信号单个特征难以继续提升情绪识别准确率和多模态融合忽视特征与情绪之间相关性的问题，基于多尺度特征提取和深度卷积因子以及非线性排列熵提出一种深度卷积排列熵作为脑电信号的新型非线性手工特征。同时针对构建脑电信号深度卷积排列熵非线性特征向量维数过高的问题，重新定义情绪状态距离的局部邻域构造，改进线性局部切线空间排列降维算法。最后提出一种基于深度卷积排列熵和改进线性局部切线空间排列降维算法的脑电信号非线性手工特征提取方法，使用DEAP数据集进一步提高脑电信号手工特征情绪识别精度。 （3）针对手工特征提取精度高但泛化能力低以及使用一种模态情绪识别结果不可靠的问题，通过充分利用脑电信号空间信息和时间信息异构脑电和眼动两种模态，基于卷积神经网络和胶囊网络提出一种双模态情绪识别模型C-CapsNet用于提取脑电信号与眼动信号深度特征从而实现情绪识别。首先采集并预处理脑电信号和眼动信号两种模态，去除两种模态信号噪声的同时提取脑电信号时空特征以及眼动信号特征。由于卷积操作处理不同时间位置的数据模式非常有效，因此卷积神经网络是目前最常用的分类方法，但同时丢失了数据路由过程和位置信息以及姿态信息。首先使用卷积操作提取脑电信号和眼动信号的底层信息，特征融合后重新异构成一个包含脑电信号和眼动信号特征的底层胶囊，最后所有底层胶囊共同决定了情绪胶囊得到情绪识别分类结果，使用SEEDIV多模态数据集上分别基于5-fold和LOO交叉验证方法验证情绪识别性能。
NETL