基于交互注意力机制的多模态情感识别算法

Multimodal emotion recognition algorithm based on interactive attention mechanism

姚懿秦 ¹郭薇¹

扫码查看

作者信息

1. 上海交通大学电子信息与电气工程学院,上海200240
折叠

摘要

在多模态语音情感识别中,现有的研究通过提取大量特征来识别情感,但过多的特征会导致关键特征被淹没在相对不重要特征里,造成关键信息遗漏.为此提出了一种模型融合方法,通过两种注意力机制来寻找可能被遗漏的关键特征.本方法在IEMOCAP数据集上的四类情感识别准确率相比现有文献有明显提升;在注意力机制可视化下,两种注意力机制分别找到了互补且对人类情感识别重要的关键信息,从而证明了所提方法相比传统方法的优越性.

关键词

多模态情感识别/注意力机制/信息交互

引用本文复制引用

出版年

2021

计算机应用研究

四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心

影响因子：0.93

ISSN：1001-3695

被引量5

参考文献量14

段落导航