摘要
为使智能设备更人性化的与人类进行交互，可以通过识别人类面部表情感知情绪状态来实现，因此面部表情识别有着巨大的科研价值和广泛的应用前景。近些年来，基于图像的面部表情识别进行了很多研究，但是由于遮挡、光照、姿态等因素的影响，快速且准确的识别面部表情仍然是一项艰巨的任务。针对当前一些局部特征提取算法存在的问题，本文主要研究内容如下： （1）分析了局部方向模式（LocalDirectionPattern，LDP）和局部方向数模式（LocalDirectionNumberPattern，LDN）。针对LDP模式在梯度空间中忽视方向信息，以及LDP和LDN模式忽视灰度信息等问题，设计了局部显著方向纹理模式（LocalProminentDirectionTexturePattern，LPDTP），首先在图像的梯度空间中寻找显著的方向特征进行编码，然后在图像的强度空间中对在显著方向上的灰度信息进行编码，得到具备梯度信息和灰度信息的编码特征；在面部的平坦区域由于信息量较少，通过设置一个自动阈值θ根据梯度强度去除平坦区域的编码特征。实验结果表明LPDTP的特征表征能力以及对高斯噪声的鲁棒性均优于LDP与LDN。 （2）考虑到局部二值模式（LocalBinaryPattern，LBP）能够有效编码图像纹理信息，但其特征维数较高。通过分析中心对称局部二值模式（CentralSymmetricLBP，CS-LBP）和中心对称局部导数模式（CentralSymmetricLocalDerivativePattern，CS-LDP），对CS-LDP进行改进，提出多方向中心对称局部二值模式（Muti-directionalCS-LDP，MCS-LDP），使用四个特征描述符从不同方向对图像纹理特征进行编码，然后将提取的特征向量进行级联融合，能够充分有效的提取图像纹理信息，并引入主成分分析法（PrincipalComponentAnalysis,PCA）对级联特征进行降维，去除冗余信息同时降低特征维数。实验结果表明MCS-LDP的识别率相较于CS-LBP和CS-LDP有明显提升。 （3）由于单个特征表征能力有限，通过融合多个特征能够更有效表征图像信息。本文提出的LPDTP主要提取图像的梯度信息，特征稳定好；提出的MCS-LDP主要提取图像的纹理信息，特征识别率高，融合这两个特征向量可以很好的起到互补作用。使用串联融合方式将LPDTP特征向量和MCS-LDP特征向量进行特征层融合，使用PCA进行降维，实验结果表明融合特征能够有效提升识别率；使用加权投票法对LPDTP、MCS-LDP和CS-LDP进行分类器层融合，实验结果表明通过加权投票进行多特征融合同样能够提升识别率。 （4）设计并开发了面部表情识别系统，使用QT完成系统和用户界面的开发，通过调用OpenCV计算机视觉软件库的图像处理算法对输入图片进行处理。系统由数据采集、面部检测和表情识别三个主要模块组成；实现了对图像、视频和摄像头的读取和表情识别等功能。
NETL