摘要
随着线上社交媒体平台迅猛发展，越来越多的用户选择在互联网上表达自己的观点。与传统的文本形式不同，互联网社交媒体上的交流主要以视频和图文等多模态的形式进行，由此产生的多模态数据中蕴含着丰富的情感，合理地分析和利用这些多模态数据能给政府和企业带来巨大的公务服务价值和商业价值。本文针对社交媒体中两类主流的多模态数据形式，从不同角度出发，?出了三种情感极性分类方法。 视频数据的情感极性分类任务关注整个视频片段的粗粒度情感，在原始视频数据中，同一时刻的文本、图像和语音三种模态数据有着相同的情感表达，然而，在根据不同采样率对各模态数据进行采样后，这种一致性被破坏。为利用这种情感的一致性来?升分类的准确性，本文?出一种基于注意力机制的模型。该模型利用注意力机制以及情感极性嵌入表示来学习融合特征和情感特征，并重构了三种模态情感变化的一致性。在三个公开数据集上实验结果表明，该方法能够有效?升模型在粗粒度情感分类任务中的性能。 图文数据的情感极性分类任务关注文本中目标实体的细粒度情感，在一些情景下，单个图文样本中可能存在着多个情感极性不同的目标实体。为准确判断不同目标实体的情感极性，本文?出了一种基于?示学习的模型。?示学习通过构建?示学习模板和输出标签映射将原始任务转化为掩码预测任务，从而充分发挥预训练语言模型的文本理解能力。在面向特定目标的图文情感极性分类任务中，本文将目标实体的文本也填入模板，从而引导模型寻找相应实体的情感信息。此外，为避免图文数据间的异构问题，本文利用图像?述生成技术将图片转化为文本，进一步丰富文本信息。两个公开数据集上的实验结果验证了该方法的有效性。 面向特定目标的图文情感极性分类任务需要先对目标实体进行抽取，这种流水线的方法会带来误差传播的风险。为避免该问题，本文对目标实体抽取以及目标实体情感极性分类进行联合建模，并?出了一种基于对比学习的序列标注模型。对比学习通过计算正负例间的相似度得分来学习数据集的一般特征。本文首先利用形容词-名词对预测任务?取图像的视觉情感概念特征，随后利用对比学习将图片与文本的表示对齐，进而获得更加有效的融合特征，此外，本文还?出利用对比学习的相似度得分来建模图片和文本的相关程度，从而减少噪声的引入。在两个公开数据集上的实验结果表明，本文?出的方法能有效?升模型性能。
NETL