摘要
随着移动互联技术的发展，社交媒体的应用逐渐普及，其影响力日益扩大。在此背景下，基于社交媒体数据的多模态细粒度情感分析是当前学术界上的一个热门课题。本文提出了基于目标对象和背景信息相结合的多模态情感分析算法以及基于局部与全局特征融合的多模态情感分析算法，解决多模态信息之间如何进行高效性交互学习以及降低无关信息的噪声干扰等难题，以实现在多模态数据中对目标对象精确地情感分析。本论文的主要工作如下: (1)本文提出了一种基于目标对象和背景信息相结合的多模态情感分析算法。首先，该算法采用BERT对文本特征建模，利用FasterR-CNN提取物体特征作为图片特征。然后，引入共注意力模块对已标注目标对象的文本特征与图片特征进行信息交互，分别获取背景多模态信息和目标对象多模态信息。接着，使用门控机制对这两种多模态信息进行特征融合，采用过滤门将背景信息中与目标对象无关的噪声信息去除。最后，使用MLP对融合后的特征进行情感极性预测，以实现对目标对象的情感分析。实验结果表明，该算法能够充分利用目标对象和背景信息，提升情感分析的准确性。 (2)本文提出了一种基于局部与全局特征融合的多模态情感分析算法。核心思想如下:在完成对文本和图片的特征信息交互后，首先，利用注意力机制实现对文本和图片的局部特征融合，以获取摒弃冗余信息的背景多模态信息;同时，利用门控机制实现对目标对象和图片的局部特征融合，以获取排除图片噪声干扰后的目标对象多模态信息。然后，用注意力机制对这两种多模态信息进行全局特征融合。实验结果表明，该算法能够有效地避免冗余信息和噪声干扰的影响，进一步提升了多模态细粒度情感分析算法的准确性。
NETL