基于多模态融合的情绪识别

扫码查看

原文链接

NETL
NSTL
万方数据

中文摘要：多模态情绪识别利用语音、文本、图像等多种数据形式,通过综合分析这些数据中的情绪信息来识别人类的情绪状态.相较于单一模态的情绪识别,这种方法能更全面地捕捉情绪的复杂性和微妙差异.为提高从特征提取到情绪分类的高效性,提出了一种端对端的网络结构,直接利用音频与视频数据进行特征提取和情绪识别,并通过实验比较了三种不同的特征融合方法.实验结果表明,改进中间注意力融合方法在RAVDESS测试集上取得了71.67%的最高平均准确率,显示出优于其他融合策略的性能.

作者：

廖强、王宇

展开 >

作者单位：

中国民用航空飞行学院

关键词：

情绪识别 transformer attention 多模态融合

出版年：

2024

科技传播

中国科技新闻学会

科技传播

影响因子：0.667

ISSN：1674-6708

年,卷(期)：2024.16(7)

参考文献量11