摘要
随着互联网的普及和社交媒体的发展，新闻的传播渠道和形式发生了翻天覆地的变化。在这一过程中，虚假新闻的问题也愈发严重。虚假新闻不仅误导公众，损害媒体的公信力，还可能对社会稳定和国家安全造成严重影响。近年来，虚假新闻呈现出多模态的特点，即不再仅仅局限于文字，而是融入了图片、视频等多种形式，进一步增加了检测和识别的难度。因此，针对多模态虚假新闻的有效检测与准确识别已成为亟待解决的重要问题。 目前，针对虚假新闻的检测与识别已经取得了一些实质性的成果。这些工作主要针对新闻文本和新闻图像，通过对新闻内容的特征提取和特征融合，最终实现虚假新闻的检测。然而，这些方法在应对多模态虚假新闻时仍有一定的局限性，存在以下问题： （1）对模态内特征提取和融合方面存在不足。尽管新闻文本提供了主要的线索，但新闻图像对于虚假新闻检测同样至关重要。现有的工作通常依赖于预训练模型来直接提取图像特征，这种方式往往难以全面、充分地利用图像中的关键信息。此外，对于提取出的模态内特征，缺乏有效的处理与融合策略，最终影响了虚假新闻检测的整体效果。 （2）现有的方法通常采用直接拼接的方式融合所提取的新闻特征，这种做法未能充分考虑模态间的内在关联，也没有考虑所提取的多个新闻特征的重要程度，导致信息冗余和干扰，因而降低检测效果。 为解决上述问题，本文做了以下两个方面的研究： （1）针对模态内特征提取和融合方面的不足，本文提出一种基于混合异构专家网络的多模态虚假新闻检测模型。该模型通过生成新闻图像描述文本的方式，结合利用预训练模型提取的图像特征，从多角度表征图像信息，另外，通过提出的混合异构专家网络融合和表示新闻文本与新闻图像描述文本，从而得到多模态新闻表示，最后使用多层感知机进行分类。在中英文数据集上的实验验证了所提出模型的有效性，其性能超越了对比的基线模型，达到了相对先进的水平。 （2）针对模态间缺乏细粒度关联的不足，本文提出一种基于实体语义融合的多模态虚假新闻检测模型。该模型通过语义类别融合图文实体来建立图文的联系，同时补充语义信息，通过预训练模型结合混合异构专家网络来提取和表示新闻特征，并使用所提出的多模态实体注意力网络对新闻特征进行加权，得到增强融合的新闻表示，最后使用多层感知机进行分类。在中英文数据集上的实验验证了实体特征以及融合方式的有效性，进一步提升了模型的分类水平。 此外，为了实际部署与应用所提出的模型，本文结合基于实体语义融合的多模态虚假新闻检测模型，设计并实现了一个虚假新闻检测系统。该系统使用客户端-服务器架构，在Android平台上实现客户端应用，负责获取用户检测新闻的获取、发送、接收、展示与保存，在Linux系统上实现服务器系统，负责用户与模型的数据交互与处理。
NETL