摘要
随着互联网和计算机技术的迅速崛起，人工智能在情感识别领域相关的理论技术得到了井喷式的发展。随着近几年情感识别技术在自然语言处理、图像识别以及认知科学等多个领域的发展，多模态情感分析成为一个新兴的跨学科方向，在人机交互领域扮演着越来越重要的角色。人类一般通过文字、语音、面部表情和肢体语言等方式来表达自己的情感，在这些模态中往往蕴含着大量的情感信息，不同模态信息中的情感倾向也有所不同，将多种模态信息进行有效的融合，同时挖掘模态间潜在的互信息是目前研究的热点。当前，越来越多的人们倾向于用视频来表达自己的情感，针对在多模态内容下的情感表现进行综合分析，可以有效地对人物的情感状态进行判断，从而使得情感分析能更好地应用在舆情管理、人机交互等领域。 本文基于多模态融合的方式展开对情感分析技术的研究。多模态情感识别的任务主要是将多个模态所蕴含的情感信息相结合，通过对情感信息进行合理有效地处理来判断人物的情感状态。本文针对根据目前多模态情感识别研究中存在的一些不足，针对多模态特征信息提取不够丰富，各模态情感交互过程中差异性丢失等问题，提出了一种基于多任务与多层次注意力机制的多模态融合情感识别方法。首先利用不同的网络模型从各个模态中提取特征，接着在多模态识别过程中引入聚合机制以及构建多任务模型，最后与其他模型进行对比得到实验结果;其次，借助预训练模型的性能优势，针对多模态情感识别中的特征融合机制作了进一步的改进，以提升模型的情感分类效果;最后，在构建模型的基础上，实现了多模态情感识别系统。 本文采用公开的数据集MOSI和MOSEI进行实验，结果表明，基于多任务与多层次注意力机制的多模态情感识别模型可以对人物的情感状态进行更加准确的判断，相较于现有的模型在两个公开数据集上的准确率分别提升了1.44％和1.08％;借助预训练模型的特征融合方式在MOSI数据集上准确率大约提升2个百分点，验证了本文模型的有效性。
NETL