摘要
网络舆情事件中的网民情感，对网络舆情的走向有着至关重要的影响。新时代下，舆论在网络空间的内容载体不再是单一的文本，转而向文本结合图片或者是短视频。同样，在网络舆情事件中，网民情感表达的载体也同样在发生变化，从单一的文本发展至文本结合图片等。当前网民情感识别研究，多基于文本这一单模态，缺乏对网民在网络舆情事件中发表的图片以及文本和图片相结合内容的关注。针对当前研究不足，本文从多模态融合视角出发，结合网民在网络舆情事件中发表的文本和图片，构建图文融合情感识别模型，从而自动识别网民情感。 图文融合情感识别模型由文本情感识别模型、图片情感识别模型及图文融合策略组成。在文本情感识别模型中，本文利用词向量模型word2vec对网络舆情文本进行表示，并利用BiLSTMs模型对向量化文本进行情感识别。在图片情感识别中，本文将预训练模型VGG16作为基础模型，并结合微调操作，提升模型性能。结合网络舆情文本和图片情感识别模型，本文构建图文融合的网民情感识别模型。同时本文还构建用于对比的基准模型，分别是word2vec与SVM结合的文本情感识别模型、BERT与BiLSTMs结合的文本情感识别模型、未微调的卷积神经网络图片情感识别模型、微调卷积神经网络模型以及应用不同融合策略的多模态融合情感识别模型。在图片情感识别中，本文对模型不同层中的输出进行可视化，探究模型学习过程；在中间层融合中，本文对图文融合的网民情感识别模型进行定性分析，探索单模态情感识别性能的提升能否助力整体模型性能的提升；在决策层融合中，本文定性分析网络舆情文本和图片对多模态融合模型的贡献程度；在模型泛化性验证和多模态融合优越性验证中，本文将提出的模型在英文图文数据集中进行实验。 实验结果表明，本文所构建的图文融合的网民情感识别模型优于其他基准模型。同时在定性分析中，本文发现，单模态情感识别性能的提升能够有助于整体模型性能的提升；网络舆情文本相较于网络舆情图片，蕴含更多的情感信息，在特征融合中，所占情感权重更高；在推特网络舆情图文数据集中，本文提出的模型具有一定的泛化性能，多模态融合情感识别的效果优于单模态。同时，在具体的推特舆情事件中，例如“yellowvest”，提出的基于深度学习的图文融合网民情感识别模型在F值这一指标超过90%。
NETL