基于多模态融合的情绪识别

廖强 ¹王宇¹

扫码查看

作者信息

1. 中国民用航空飞行学院
折叠

摘要

多模态情绪识别利用语音、文本、图像等多种数据形式,通过综合分析这些数据中的情绪信息来识别人类的情绪状态.相较于单一模态的情绪识别,这种方法能更全面地捕捉情绪的复杂性和微妙差异.为提高从特征提取到情绪分类的高效性,提出了一种端对端的网络结构,直接利用音频与视频数据进行特征提取和情绪识别,并通过实验比较了三种不同的特征融合方法.实验结果表明,改进中间注意力融合方法在RAVDESS测试集上取得了71.67%的最高平均准确率,显示出优于其他融合策略的性能.

关键词

情绪识别/transformer/attention/多模态融合

引用本文复制引用

出版年

2024

科技传播

中国科技新闻学会

科技传播

影响因子：0.667

ISSN：1674-6708

参考文献量11

段落导航