首页|基于多任务多模态学习的谣言检测框架

基于多任务多模态学习的谣言检测框架

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
谣言检测是对社交网络上传播的信息内容进行真实性鉴别的任务。一些研究表明融合多模态信息有助于谣言检测，而现有多模谣言检测方法具有以下问题:(1)只是将处于不同表示空间的单模态特征简单拼接形成多模态表示，没有考虑多模态之间的关系，难以提高模型的预测性能和泛化能力。(2)缺乏对社交网络数据组成结构的细致考虑，只能处理由文本-图像对的社交网络数据，无法处理由多幅图像组成的数据，且当其中一种模态(图像或文本)缺失时模型无法进行预测。针对上述问题，本文提出了一种多任务多模态谣言检测框架(MMRDF)，该框架由3个子网络组成:文本子网络、视觉子网络和融合子网络，通过从单模态数据中提取浅层至深层的单模特征表示，在不同的子空间中产生特征图，丰富模态内特征，并通过复合卷积结构融合生成联合多模态表示，以获得更好的预测性能。同时该框架可以灵活地处理所有类型的推文(纯文本、纯图像、文本-图像对和多图像文本)，并且没有引入造成额外时间延迟的传播结构、响应内容等数据作为输入，可以在推文发布后立即应用于谣言检测，减少辟谣的时间延迟。在两个真实数据集上的实验结果表明，所提框架明显优于目前最先进的方法，准确率上的提升分别为7。3%和2。9%，并通过消融实验证明了各个模块的有效性。
Rumor detection framework based on multitask multi-modal learning
Rumor detection is the task of identifying the veracity of the information on social networks.Previ-ous studies have shown that fusing multimodal information can be helpful to rumor detection.However,these approaches have some limitations:(1)simply concatenated unimodal features without considering inter-modality relations,resulting in limited improvement in prediction performance and generalization ability.(2)did not carefully consider the composition structure of social network data,assuming it was only composed of image-text pairs and unable to handle multi-image data or missing modalities.To address these issues,we proposed a novel framework called multitask multimodal rumor detection framework(MMRDF),which con-sists of three sub-networks that generate joint multimodal representation by merging features at different lev-els and enriching intra-modal features with feature maps from different subspaces.Moreover,the joint multi-modal representation is generated by a composite convolutional fusion structure to achieve better prediction performance.MMRDF is flexible and capable of handling various types of tweets,including pure text,pure image,image-text pairs,and text with multi-images.Additionally,the MMRDF does not require extra time-delaying data such as propagation structures and response content,allowing for immediate application to ru-mor detection and reducing the time delay in debunking rumors.Experimental results on two real-world datas-ets demonstrate that our framework outperforms the state-of-the-art methods,achieving an accuracy improve-ment of 7.3%and 2.9%.Ablation experiments further validate the effectiveness of each module in the pro-posed framework.

Rumor detectionMulti-modal analysisRepresentation learningMultitask learningNeural Networks

蒋方婷、梁刚

展开 >

四川大学网络空间安全学院, 成都 610065

谣言检测 多模态分析 表示学习 多任务学习 神经网络

国家自然科学基金联合项目四川省科技厅重点研发项目教育部地方项目教育部地方项目教育部地方项目达州科技局项目四川省社会科学重点研究基地系统科学与企业发展研究中心规划项目

621620572022YFG01822020CDZG-182021CDLZ-122021CDZG-1121ZDYF0009

2024

10.19907/j.0490-6756.2024.023004

四川大学学报(自然科学版)
四川大学

四川大学学报(自然科学版)

CSTPCD北大核心
影响因子：0.358
ISSN：0490-6756
年,卷(期)：2024.61(2)
  • 39