摘要
人脸表情包含着丰富的情感信息，表情识别在人机交互、智慧医疗、心理分析等领域有着广阔的应用前景。目前，表情识别主要以实验室标准环境下采集的图像为研究对象，但在现实生活中不可避免的会受到光照、遮挡等复杂因素的干扰，从而导致表情识别的正确率和鲁棒性降低。因而，对复杂条件下表情识别的研究已成为计算机视觉应用领域的研究热点。为了克服复杂条件下表情识别受到的光照和遮挡的影响，本文从如下三个方面进行了深入研究，所做工作概括如下: 首先在简单条件下，进行表情识别的基础性研究，提出了基于ULBP与HOG多特征融合的策略。在人脸检测、图像灰度化与直方图均衡化等预处理的基础上，对三种不同的单一LBP算子进行分析与实验后采用识别准确率与识别时间均较优的ULBP算子;针对单一LBP算子无法细致描述人脸表情区域的局部纹理和边缘信息的缺点，通过结合在图像局部与边缘特征提取具有优势的HOG特征，提出了基于ULBP与HOG的多特征融合策略，并在JAFFE表情库上使用不同的分类器进行了对比验证。 其次在光照条件下，研究了光照不均对表情识别的影响，提出了自适应阈值局部Gabor二值模式LGBP复合特征算法。通过采用频率域和空间域相结合的处理方法，首先使用Gabor小波对人脸光照图像进行四尺度、五方向的特征提取，弱化光照对人脸图像的影响、降低纹理图像的噪声，再通过LBP算子对Gabor处理后的图像进行特征提取;进一步的，针对光照不均时，固定阈值的LBP算子无法精确地反映像素点明暗程度这一缺点，提出了自适应阈值LBP算子及其阈值选取算法;更进一步的，对脸部区域进行划分，采用信息熵加权，以突出嘴部、眼部等较多反映表情的区域;并在中科院CAS-PEAL图像库上进行得到验证，提升了表情识别的光照鲁棒性。 最后在遮挡条件下，研究了局部遮挡对表情识别的影响，提出了改进的跨连接多层LeNet-5卷积神经网络模型。针对遮挡条件下由于图像信息缺失和噪声干扰导致传统的机器学习方法鲁棒性降低、识别率差的问题，依据深度学习在特征提取的优势，在LeNet-5模型的基础上，增加了一个卷积层与池化层，并将网络结构中提取的低层次特征与高层次特征相结合构造分类器，通过使用可训练的卷积核提取隐式的特征，并采用池化层对提取的隐式特征进行降维，最后使用Softmax分类器进行分类识别。在固定遮挡与随机遮挡两种情况下进行对比实验，验证了改进后方法的遮挡鲁棒性。
NETL