查看更多>>摘要：目的 微表情是人在外界信息和刺激下做出的无意识面部动作,是判断受试人情绪和行为的重要佐证,在社会安全、商业谈判和心理辅导等领域都有着广泛的应用.微表情不同于一般的表情,分类与定位较为困难.针对这种情况,提出了一种基于光流窗口的双分支微表情定位网络(dual-branch optical flow spotting network,DFSN)和一种利用峰值帧光流信息的微表情分类网络,以识别视频中的微表情.方法 在定位任务中,首先提取面部图像,选择光流窗口大小和位置,计算面部光流并进行预处理;接下来输入双分支网络中进行两次分类,分别针对有无微表情和在有微表情前提下微表情所处阶段分类,并结合两个损失函数抑制过拟合;最后绘制出微表情强度曲线,曲线峰值所处位置即为所求微表情峰值帧.在分类任务中,选取视频起始帧和定位网络取得的峰值帧作为光流窗口,并利用欧拉运动放大算法(Eulerian motion magnification,EMM)放大微表情,最后采用峰值帧光流信息分类微表情视频.结果 微表情定位网络分别在 CASME Ⅱ(Chinese Academy of Sciences Micro-expression Database Ⅱ)数据集和 CASME 数据集上按照使用留一被试交叉验证法进行了实验,与目前最好的定位方法比较,此网络在CASME Ⅱ上获得了最低的NMAE(nor-malized mean absolute error)值0.101 7,比Optical flow+UPC方法提高了 9％.在CASME上获得的 NMAE值为0.137 8,在此数据集上为次优定位方法.在定位网络得到的峰值基础上,分类网络在CASME Ⅱ上取得了 89.79％的准确率,在CASME上取得了 66.06％的准确率.若采用数据集标注的峰值,分类网络在CASME Ⅱ上取得了 91.83％的准确率,在CASME上取得了76.96％的准确率.结论 提出的微表情定位网络可以有效定位视频中微表情峰值帧的位置,帮助后续网络进行分类,微表情分类网络可以有效区分不同种类的微表情视频.
NETL
NSTL
万方数据