首页|基于关键区域遮挡与重建的人脸表情识别

基于关键区域遮挡与重建的人脸表情识别

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
为了解决自然场景下人脸表情识别任务中的无用信息干扰和遮挡对识别性能的影响问题，提出一种基于关键区域遮挡与重建的人脸表情识别模型。利用多尺度特征提取网络，提取人脸图像的全局特征。根据68个人脸关键点划分出 68个关键区域，并通过插值法提取68个关键区域的特征，同时采用注意力机制学习关键区域特征之间的先验关系。设计自监督的遮挡与重建模块，对关键区域特征进行随机遮挡，并利用已知区域信息来预测和重建被遮挡区域的特征，从而提高模型在自然场景下的表情识别性能。设计多个实验验证了该模型的泛化能力，并通过消融实验验证了模型中每个模块的有效性。实验结果表明，该模型在真实世界的情感面孔数据集(RAF-DB)和Occlusion-RAF-DB数据集上分别达到了 88。44％和86。09％的识别准确率，相比于视觉Transformer(ViT)等模型有效地提升了自然场景下人脸表情识别的性能。
Facial Expression Recognition Based on Key Region Masking and Reconstruction
To overcome the negative impact of irrelevant information interference and masking issues on the performance of facial expression recognition in the wild,this study proposes a facial expression recognition model based on key region masking and reconstruction.A multi-scale feature extraction network is first used to extract global features from facial images.Thereafter,the features of key regions,based on 68 facial landmarks,are extracted and encoded with attention mechanisms to learn prior relationships between the features of the key regions.To further enhance the discriminative capability of the extracted features for improved recognition performance,a key region masking and reconstruction module is designed based on self-supervised learning.This module aims to reconstruct randomly masked features of key regions using known region information.Extensive experiments are conducted to validate the generalization ability of the model,and ablation experiments confirm the effectiveness of each module in the model.The experimental results demonstrate that the model achieves recognition accuracies of 88.44％and 86.09％on the Real-world Affective Faces DataBase(RAF-DB)and the Occlusion-RAF-DB dataset,respectively,effectively improving the performance of facial expression recognition in natural scenarios compared to models such as Vision Transformer(ViT).

facial expression recognitionmultiscale key region featureattention mechanismself-supervised learningmasking and reconstruction

李晶、李健、陈海丰、张倩、王丽燕、裴二成

展开 >

陕西科技大学电子信息与人工智能学院,陕西西安 710021

陕西科技大学文理学院,陕西西安 710021

西安邮电大学计算机学院,陕西西安 710100

人脸表情识别 多尺度关键区域特征 注意力机制 自监督学习 遮挡与重建

国家自然科学基金国家土建结构预制装配化工程技术研究中心沈祖炎专项基金陕西省自然科学基础研究计划项目2021年陕西科技大学教育信息化教学改革研究项目陕西科技大学博士科研启动基金

623061722019CPCCE-K022022JQ-662JXJG2021-09126022325

2024

10.19678/j.issn.1000-3428.0067538

计算机工程
华东计算技术研究所　上海市计算机学会

计算机工程

CSTPCD北大核心
影响因子：0.581
ISSN：1000-3428
年,卷(期)：2024.50(5)
  • 30