摘要
随着社交媒体和聊天应用的普及,多模态的图文数据已成为用户情感表达的主要途径之一.由于图文数据在空间上呈现独立性,但又具有明显的语义关联,现有方法忽略了模态之间的双向关联性和互补性,导致模型提取的特征无法全面反映多模态数据的内在关联.针对上述问题,文章提出了多层次特征融合的贴纸情感分析模型,在浅层通过对比学习策略,实现模态之间的信息共享和转移,深度挖掘样本之间的语义相关性;在深层将不同模态的信息结合,提高模型对多模态数据的整体抽象能力,捕捉模态间的互补性;多层次的特征融合提取出具有双向关联性和互补性的综合特征用于情感分析.在公开数据集MVAS-single上的情感分类准确率和F1 值分别提高2.44%和1.05%,验证了该方法的有效性.
NETL
NSTL
万方数据