重庆理工大学学报2023，Vol.37Issue(1) ：166-176.DOI:10.3969/j.issn.1674-8425(z).2023.01.019

融合注意力机制和迁移学习的跨数据集微表情识别

Cross-database micro-expression recognition combining attention mechanism and transfer learning

王越 王峰 肖家赋 相虎生
重庆理工大学学报2023，Vol.37Issue(1) ：166-176.DOI:10.3969/j.issn.1674-8425(z).2023.01.019
✕
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据

融合注意力机制和迁移学习的跨数据集微表情识别

Cross-database micro-expression recognition combining attention mechanism and transfer learning

王越 1王峰 2肖家赋 3相虎生3
扫码查看

作者信息

  • 1. 天津大学 电气自动化与信息工程学院,天津 300072
  • 2. 太原理工大学 信息与计算机学院,山西 晋中 030600
  • 3. 武警指挥学院,天津 300352
  • 折叠

摘要

针对传统光流法泛化能力差,训练过程极易出现过拟合,造成微表情识别率不高等问题,在特征提取阶段,根据残差结构思想,在每层金字塔级采用独立且序列化的方式训练卷积网络,结合注意力机制对微表情图像的光流矢量表达进行逐级细化,构建一种基于关键帧的金字塔光流模型,与三正交平面的局部二值模式(LBP-TOP)特征级联融合得到最终特征表示,有效提取了视频序列的时空纹理特征及光学应变信息;在分类模型方面,针对深度学习识别模型应用于微表情分类时,由于卷积神经网络(CNN)无法实现面部关键区域与对应情感标签向量紧密关联导致分类性能较差的问题,提出一种以CNN为主体,结合图卷积网络(GCN)的微表情跨数据集迁移学习网络框架,对图像融合特征和标签向量隐藏联系进行分析,利用宏表情定量优势辅助微表情识别,在CASMEⅡ和SAMM两种微表情数据集上实现4种情绪数据的分类,识别率从57.56％升至75.93％.

关键词

微表情识别/注意力机制/迁移学习/光流/残差模块

引用本文复制引用

基金项目

武警部队后勤重大理论与现实问题立项课题(2020-1)

出版年

2023
重庆理工大学学报
重庆理工大学

重庆理工大学学报

CSTPCD北大核心
影响因子：0.567
ISSN：1674-8425
参考文献量25
段落导航相关论文