首页|融合语音、脑电和人脸表情的多模态情绪识别

融合语音、脑电和人脸表情的多模态情绪识别

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
本文提出了一种多模态情绪识别方法,该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪,有效地解决了过去研究中准确率低、模型鲁棒性差的问题.对于语音信号,本文设计了一个轻量级全卷积神经网络,该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势.对于脑电信号,本文提出了一个树状LSTM模型,可以全面学习每个阶段的情绪特征.对于人脸信号,本文使用GhostNet进行特征学习,并改进了 GhostNet的结构使其性能大幅提升.此外,我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合,从而得到更全面、更准确的结果.上述方法在EMO-DB与CK+数据集上分别达到了94.36％与98.27％的准确率,且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25％与89.33％的准确率.我们的实验结果表明,与使用单一模态以及传统的融合方式进行情绪识别相比,本文提出的多模态情绪识别方法有效地提高了识别准确率.
Multimodal Emotion Recognition Based on Speech,EEG and Facial Expression

方伟杰、张志航、王恒畅、梁艳、潘家辉

展开 >

华南师范大学软件学院,佛山528225

多模态情绪识别 决策级融合 轻量级模型 LSTM GhostNet 深度学习

科技创新2030"脑科学与类脑研究"重点项目国家自然科学基金面上项目

2022ZD020890062076103

2023

10.15888/j.cnki.csa.008907

计算机系统应用
中国科学院软件研究所

计算机系统应用

CSTPCD
影响因子：0.449
ISSN：1003-3254
年,卷(期)：2023.32(1)
  • 1
  • 1