摘要
随着互联网技术的迅速发展，人们获取信息的渠道从传统媒体逐渐转向网络社交媒体平台。在社交媒体平台上，用户可以随时随地的获取实时信息，并且表达自己的观点。然而，由于其便利性和开放性，谣言以惊人的速度在社交媒体中迅速传播，造成大量用户被欺骗或误导。随着多媒体形式的不断变革，谣言信息不再仅以文本内容呈现，而是逐渐演变为包含文本、图像和视频的多模态内容，这种显然更具有说服力和误导性。目前，辟谣的方式主要依赖相关专家的经验和专业知识，但这种人工手段存在成本高、效率低等问题。因此，设计出自动化的多模态谣言检测方法具有重要意义。 现有的多模态谣言检测方法虽然取得了一定的成果，但仍存在一些问题。一方面传统方法普遍使用BERT模型对文本进行特征提取，该模型存在参数量较大且训练速度缓慢的问题，使得提取文本特征水平有限。此外，现有的多模态融合方法只是简单的将文本特征和视觉特征进行直接拼接，未能更好地利用不同模态之间的互补性，从而影响分类效果。另一方面，现有的谣言检测任务未能充分利用图像信息，仅仅通过提取图像的全局特征进行建模，无法更好地捕捉图像中的局部信息和细节，从而限制了图像的潜能。此外，谣言检测任务的常规思路是将文本和视觉特征进行融合后实现分类，缺乏对多模态特征进行深入的分析和探索，从而阻碍了准确率的进一步提高。 为了解决以上问题，本文开展以下研究工作： 针对文本特征提取水平和多模态融合能力有限的问题，本文设计了一种基于ALBERT和多模态循环融合的谣言检测方法。本方法采用ALBERT预训练模型替代BERT模型来提取文本特征，ALBERT通过参数共享和对嵌入层因式分解两项技术实现了参数量的大幅度减少，从而提高了模型性能。然后通过VGG-19模型提取图像的视觉特征，采用多模态循环融合（MultimodalCirculantFusion，MCF）方法来融合文本特征和视觉特征，该方法通过循环融合操作实现文本和视觉特征的交互式学习，从而充分发挥异构数据的互补性。最后，将多模态特征分别作为谣言检测器和域分类器的输入用来识别谣言信息和保留事件之间的共享特征。在微博和推特数据集上进行对比和消融实验，证明了本方法的有效性。 针对视觉特征提取忽略图像的局部信息以及缺乏对多模态特征的进一步优化的问题，本文在上一个方法基础上，设计了一种基于多层次视觉特征和增强多模态特征的谣言检测方法。本方法考虑到了提取图像模态的多层次特征，分别用VGG-19模型和FasterR-CNN模型提取图像的全局特征和局部特征，可以更充分挖掘图像深层语义信息，实现对图像更加准确的理解。此外，在多模态融合之后，本方法添加了多模态特征优化架构，以进一步增强多模态特征的表示能力，从而更好地利用多模态数据的互补性，挖掘文本与图像两种模态的内在联系，提高谣言检测效果。最后实验结果验证了本方法具有优越的性能。 综上所述，本文提出了基于ALBERT和多模态循环融合的谣言检测方法以及基于多层次视觉特征和多模态特征增强的谣言检测方法，解决了在谣言检测任务中关于文本和视觉特征提取、多模态融合以及缺乏对多模态特征进一步探索这四个方面的问题，并且通过对比实验和消融实验验证了本文所提出的两个方法均具有出色的表现。
NETL