摘要
微表情是一种当人们试图控制和隐藏自身强烈的情感时，快速呈现出的表情，可以准确反映人们内心想法的真实写照。基于这种性质，微表情研究在临床治疗、犯罪调查商业谈判等领域都有着巨大的应用潜力。微表情识别属于细粒度视频分类的范畴，与一般的图像分类相比，视频分类更为复杂，还需要考虑时间信息等因素，再加上微表情的脸部肌肉运动幅度非常小且持续时间很短（0.04s-0.2s），使得准确识别微表情变得非常困难。本文将微表情识别分为两个方面，结合上述问题做了如下研究： 在连续、快速微表情识别方面，例如商业谈判、课题教学中，微表情的出现通常间隔比较短，要求算法在确保一定准确率的前提下，还要有较低的识别耗时。所以本文提出了一种基于双流三维卷积神经网络的微表情识别算法。算法采用C3D作为主于网络，并将其第3、4、5层的双层卷积结构改为单层卷积结构，加快模型的推理速度；构建并行双流网络，同时传入微表情人脸图片和微表情光流图片，兼顾人脸空间属性和光流运动信息，在不改变网络深度的情况下获得了一定的识别精度提升；加入轻量级的3D时空注意力机制增强模型细节感知能力。在公开数据集SMIC和CASMEⅡ上进行算法性能评估，结果证明所提出的算法在保证准确率的同时识别速度提审升了约15%，可以有效解决快速微表情识别问题。 在更为严谨的、高精度的微表情识别方面，例如临床心理治疗、刑事审讯中，微表情识别有较为充裕的判断时间，不需要有很快的识别速度，但是识别错误的代价会比较大，要求算法有较高的识别精度。所以本文提出了一种基于多尺度三维残差卷积神经网络的微表情识别算法。算法采用3D-ResNct50作为主干网络，为了提高算法的特征提取能力，空间上，在网络中加入不同尺寸的多尺度卷积模块，整合全局信息和局部信息；时间上，将模型不同层数得到的特征图使用注意力特征模块进行融合，增强模型的上下文感知能力，再将融合结果分层输出，选择准确率最高的结果作为模型的输出。在公开数据集SMIC和CASMEⅡ上进行算法性能评估，均取得最高准确率，在高精度微表情识别方面可以作为重要参考依据。 开发设计微表情识别系统，该系统包括用户模块和微表情模块，用户模块主要有用户登录和用户数据管理两个功能,微表情模块主要有微表情识别和微表情数据管理两个功能，微表情识别功能集成上述两种微表情识别算法，面对不同场景，用户可以选择不同的微表情识别算法。
NETL