摘要
随着人工智能的不断发展，人们希望在人机交互过程中，通过计算机有效表达人类的情感信息。面部表情在人类表达情感信息的过程中占据着十分重要的地位。近年来，表情识别研究的迅猛发展，大大推动了人脸表情识别系统和应用的进步。然而，早先定义好的六种基本表情类别，即快乐、愤怒、惊讶、厌恶、恐惧和悲伤，已经不能准确无误地描述现实生活中存在的更加复杂的面部表情。为了能够更加准确地描述真实场景下的人脸表情，研究者提出了更加符合实际的复合表情类别，这使得人脸表情识别成为一个更加具有挑战性的研究课题。由于复合人脸表情的采集和标注十分困难，导致自然环境下复合人脸表情数据集缺乏足够的训练数据，运用现有识别基本人脸表情的深度学习模型识别复合人脸表情，无法获得有效的复合人脸表情特征，所以最后复合人脸表情识别的性能不尽如人意。在复合人脸表情数据集的样本不足，数目层次不齐，甚至有的复合人脸表情样本数目几近为零的状况下进行复合人脸表情识别，是一个很值得研究的问题。 针对以上复合人脸表情识别的问题，本文提出基于图卷积网络的复合人脸表情识别和基于图卷积网络多标签学习的复合人脸表情识别。这两种方法分别从不同的角度来思考和解决问题。论文的主要内容和创新点如下： 1）基于图卷积网络的复合人脸表情识别。针对复合人脸表情数据集缺乏足够的样本问题，引入图卷积网络的思想，从人脸表情特征方向解决问题。利用基本表情与复合人脸表情之间的关系，提出基于图卷积网络的复合人脸表情识别模型（graphconvolutionnetworkguidedthecompoundfacialexpressionrecognition,GCN-CFER）。该模型首先根据复合人脸表情和基本人脸表情之间的关系，借助先验知识来构建表情类别关系知识图，再通过图卷积网络和注意力机制在知识图上学习基本和复合人脸表情之间的关系。在图中节点的信息传播中，用基本人脸表情辅助获得有效的复合人脸表情特征，提升复合人脸表情识别性能。在两个复合人脸表情数据集（RAF-DB和EmotioNet）上的实验结果，有效验证所提方法的合理性。复合人脸表情的平均识别率提高约1.7%~1.9%，显著优于现有方法。 2）基于图卷积网络多标签学习的复合人脸表情识别方法。针对复合人脸表情数据集样本不足的问题，引入多标签学习和图卷积网络的方法，从人脸表情类别分类器方向解决问题。借助先验知识来学习人脸表情类别分类器，再结合提取的复合人脸表情特征进行复合人脸表情分类。首先通过选择的主干网络提取人脸表情全局特征，根据人脸表情图像的感兴趣区域提取局部特征，由此构成了人脸表情图像显著的情感特征；接着，利用人脸表情类别之间的先验知识和数据驱动的方式来构建人脸表情类别关系图，图中每个节点用对应表情的词向量表示，利用图卷积网络来学习知识图中的语义信息，获得人脸表情类别分类器；最后用获得的人脸表情特征和表情类别分类器对复合人脸表情进行分类。在两个复合人脸表情数据集（RAF-DB和EmotioNet）上得到的实验结果，相比于现有方法的结果，它的平均识别率提高近4.16%~4.92%，很好地验证所提方法的有效性。 3）设计并实现基于图卷积网络的复合人脸表情识别原型系统。本系统使用MATLAB、Python程序设计语言和Pytorch等框架来实现原型系统。该系统包括数据预处理模块、复合人脸表情识别模块和结果可视化等模块。通过复合人脸表情识别原型系统的实现，有效验证本文所提方法的可行性。
NETL