结合深度信息的微表情检测研究

扫码查看

原文链接

NETL

中文摘要：面部表情在人们的日常生活中有着举足轻重的作用，微表情是一种可以揭露人们内心真实情绪的面部表情，它具有持续时间短、动作幅度小，不受人的自主意识控制等特点，通常不易为人眼所察觉。一般而言，微表情都和说谎情境相关，因此在临床医学、刑侦审讯和国家安全等领域有着重要的实用意义。然而由于微表情自身的固有特点，使得检测和识别微表情尤为困难。因此，构建出一个自动化的检测和识别微表情的算法具有十分重要的实际应用价值。目前，微表情样本量相对而言较为稀少，并且分布在不同的数据集中，有着一定的样本偏差等问题。同时现有的微表情检测算法大多聚焦于提取出具有代表性的空间特征，而忽略了微表情本身的时域特征。近年来，随着硬件设备的升级，深度信息逐渐进入人脸识别领域并展现出了多模态人脸识别的优势，同时深度信息在一定程度上可以较好地反映时域上的特征，目前已公开的微表情数据集中尚未有包含深度信息的微表情数据集。为了解决这些问题，本文主要做了以下工作： (1)参与创建了一个全新的包含深度信息的微表情数据集CAS(ME)3，将微表情数据集扩展到了包含深度信息的多模态数据，并结合第三代微表情诱发范式收集了具有高生态效度的微表情样本。本数据集的样本量和目前已公开的微表情数据集样本总量相当，有效缓解了微表情样本不足以及分布在不同数据集而导致的样本偏差问题。 (2)设计了一种结合滑动窗口和时空特征的微表情检测算法。首先将一个完整的微表情长视频通过滑动窗口分为若干个短视频，针对每一个滑动窗口进行人脸裁剪并计算相邻帧的光流场；接着将鼻子区域视为相对刚体移除全局运动，提取和微表情相关区域的时空特征，并将其进行多尺度滤波处理，从中筛选出可以表征微表情的特征，最后对所有结果进行融合标注，得到最终的微表情发生区间。 (3)定义了一种结合深度信息的微表情手工特征——深度流特征，并将微表情检测算法从二维平面扩展到三维空间中，针对二维平面和三维空间的不同，改进了主方向的主光流矢量方向角的计算。为了改进空间光流的计算复杂度，将整体光流计算缩减为局部光流计算，并在此基础上融合时空特征进行微表情检测，提升了微表情检测算法的鲁棒性。 (4)本文不仅为CAS(ME)3数据集提供了微表情检测任务的基准算法，还基于AlexNet网络模型为微表情识别任务提供了包含深度信息和不包含深度信息的4分类以及7分类基线结果。

作者：

马崟桓

展开 >

关键词：

微表情检测深度流特征滑动窗口人脸裁剪 AlexNet网络

授予学位：

硕士

学科专业：

计算机科学与技术

导师：

黄树成

学位年度：

2022

学位授予单位：

江苏科技大学

语种：

中文

中图分类号：