首页|一种基于多任务学习的多模态情感识别方法

一种基于多任务学习的多模态情感识别方法

A Multi-modal Sentiment Recognition Method Based on Multi-task Learning

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 维普
  • 万方数据
为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示,进而提升模态融合的效果,提出一种基于多任务学习的多模态情感识别模型,使用多模态共享层来学习视觉和语音模型的情感信息.在MOSI数据集和MOSEI数据集上的实验表明,添加两个辅助的单模态情感识别任务后,模型可以学习到更有效的单模态情感表示,并且在两个数据集上的情感识别准确率比目前性能最佳的单任务模型分别提升0.8％和2.5％.

林子杰、龙云飞、杜嘉晨、徐睿峰

展开 >

哈尔滨工业大学(深圳)计算机科学与技术学院,深圳 518055

School of Computer Science and Electronic University of Essex,Colchester CO43SQ

多模态信息 情感识别 模态融合 多任务学习

国家自然科学基金国家自然科学基金国家自然科学基金深圳市基础研究学科布局项目深圳市基础研究学科布局项目广东省新冠肺炎疫情防控科研专项深圳市技术攻关项目

618760536163201162006062JCYJ20180507183527919JCYJ201805071836083792020KZDZX1224JSGG20170817140856618

2021

10.13209/j.0479-8023.2020.085

北京大学学报(自然科学版)
北京大学

北京大学学报(自然科学版)

CSTPCDCSCD北大核心
影响因子：0.785
ISSN：0479-8023
年,卷(期)：2021.57(1)
  • 4
  • 28