摘要
情绪识别在人机互动中具有重要作用,针对传统手工特征提取精度高但泛化能力低和使用一种模态情绪识别结果不可靠的问题,通过充分利用脑电信号的空间和时间信息,异构脑电和眼动2种模态,基于卷积神经网络和胶囊网络,提出一种双模态情绪识别模型C-CapsNet.在SEED IV多模态数据集上进行实验:使用5-fold交叉验证方法研究共享矩阵初始化方法、迭代次数和学习率对于C-CapsNet在Valence和Arousal两个维度的平均识别率影响;使用LOO交叉验证方法得到该模型的Valence和Arousal最高准确率分别为91.5%和92.4%,优于其他类似研究的情绪识别模型.