首页|基于跨模态Transformer的多模态细粒度情感分析方法研究

基于跨模态Transformer的多模态细粒度情感分析方法研究

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
多模态细粒度情感分析任务要求根据文本以及对应的图片信息,判断文本中每个观点实体的情感倾向.目前基于文本的细粒度情感分析模型无法对多模态数据进行建模,因此论文针对多模态细粒度情感分析任务,提出了一种基于跨模态Transformer的层次化神经网络模型.该模型利用从预训练模型中抽取出的文本以及图片特征,通过调整跨模态Transformer的输入来建模文本和图像之间的信息交互,从而达到利用图片信息来辅助文本信息进行情感分析的目的.论文在两个真实的多模态社交媒体数据集上开展了实验,并与其他方法展开对比,验证了论文提出的方法的有效性.
Research on Multimodal Fine-grained Sentiment Analysis Method Based on Cross-modal Transformer

陈恺、董修岗、周祥生

展开 >

南京理工大学计算机科学与工程学院 南京 210094

中兴通讯股份有限公司 南京 210012

多模态情感分析 细粒度情感分析 Transformer 社交媒体情感分析

2022

10.3969/j.issn.1672-9722.2022.10.027

计算机与数字工程
中国船舶重工集团公司第七0九研究所

计算机与数字工程

CSTPCD
影响因子：0.355
ISSN：1672-9722
年,卷(期)：2022.50(10)
  • 1
  • 26