摘要
互联网的迅速普及打破了信息传播的专业门槛，使得越来越多的人们可以通过社交媒体方便地获取信息、分享和表达观点，这极大的丰富了人们的日常生活。然而，由于社交媒体的用户数量巨大，出于各种目的捏造的虚假新闻层出不穷。再者，随着技术的进步，虚假新闻不再单纯的以文本的形式传播，更多是通过文本、图片和视频结合的方式进行扩散，极大地增强了虚假新闻的迷惑性，也使得以往仅仅依赖文本内容进行分析的虚假新闻检测方法不再适用。目前的大多数基于单模态的虚假新闻检测方法都将新闻帖子的文本内容视作词序列进行特征提取，一些基于多模态的方法则简单地拼接新闻的文本特征和视觉特征作为新闻的多模态特征进行虚假新闻检测。这些方法中的大多数都忽视了隐藏在新闻帖子文本内容中的背景知识，这些背景知识可以为虚假新闻检测提供辅助性信息。为了解决上述问题，本文基于图神经网络对多模态虚假新闻检测进行了如下探索： （1）本文提出了一个知识驱动的多模态图卷积网络（KMGCN）提取新闻多模态内容的语义表示。该网络可以将新闻的文本信息、知识概念以及视觉信息建模到一个统一的框架之中进行虚假新闻检测。对于新闻帖子的文本内容，我们将其转换为图结构数据，有助于建模非连续的短语，获取更好的新闻语义组合。除此之外，我们也将视觉信息以及从知识图谱中检索得到的外部知识作为节点，补充到图中，为虚假新闻检测提供互补的语义信息。我们使用一个精心设计的多模态图卷积网络来提取这些图结构数据的语义表示。两个公共数据集上的实验结果表明了该方法的有效性。 （2）在第一种方法的基础之上，本文引入图注意力机制和预训练的BERT模型，提出了一个知识驱动的多模态自适应图卷积网络（KMGAN），对虚假新闻检测做了进一步的探索。相比于KMGCN中预定义的图结构，KMGAN使用图注意力机制动态地更新节点之间边的权重，有助于自适应地学习图的拓扑结构，可以有效地提高模型的灵活性。预训练的BERT模型相比预训练的Word2Vec模型可以提供上下文语义更加丰富的词向量，有助于提升模型的检测性能。两个公共数据集上的实验结果表明了该方法的有效性。 为了更加客观地评价本文提出的虚假新闻检测方法，我们还设计了多种消去实验来证明模型中各组件的有效性，以及通过举例模型正确识别的多模态虚假新闻来阐明我们提出的方法在多模态虚假新闻识别上的优势。
NETL