首页|伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测

伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测

Driving fatigue detection based on pseudo 3D convolutional neural network and attention mechanisms

扫码查看
原文链接
  • NETL
  • NSTL
  • 维普
  • 万方数据
目的 复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题.为了充分利用驾驶员面部特征信息与时间特征,提出一种基于伪3D(Pseudo-3D,P3D)卷积神经网络(convolutional neural network,CNN)与注意力机制的驾驶疲劳检测方法.方法 采用伪3D卷积模块进行时空特征学习;提出P3D-Attention模块,利用P3D的结构融合双通道注意力模块和适应的空间注意力模块,提高对重要通道特征的相关度,增加特征图的全局相关性,将多层深度卷积特征进行融合.利用双通道注意力模块分别在视频帧之间和每一帧的通道上施加关注,去除背景和噪声对识别的干扰,使用自适应空间注意模块使模型训练更快、收敛更好;使用2D全局平均池化层替代3D全局平均池化层获得更具表达能力的特征,进而提高网络收敛速度;运用softmax分类层进行分类.结果 在公共数据集YawDD(a yawning detection dataset)上开展对比实验,本文方法在测试集上的Fl-score检测准确率达到99.89％,在打哈欠类别上召回率达到100％;在数据集UTA-RLDD(University of Texas at Arlington real-life drowsiness dataset)上,本文方法在测试集上的F1-score检测准确率达到99.64％,在困倦类别上召回率达到100％;与Inception-V3融合LSTM(long short-term memory)的方法相比,本文方法模型大小为42.5 MB,是其模型大小的1/9,本文方法预测时间约660 ms,是其11％左右.结论 提出一种基于伪3D卷积神经网络与注意力机制的驾驶疲劳检测方法,利用注意力机制进一步分析哈欠、眨眼和头部特征运动,将哈欠行为与说话行为动作很好地区分开来.

庄员、戚湧

展开 >

南京理工大学计算机科学与工程学院,南京210094

3D卷积神经网络 伪3D卷积 全局平均池化 注意力机制 疲劳驾驶

国家重点研发计划政府间国际科技创新合作重点专项国家重点研发计划政府间国际科技创新合作重点专项江苏省重点研发计划(产业前瞻与共性关键技术)项目

2019YFE01238002016YFE0108000BE2017163

2021

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2021.26(1)
  • 5
  • 23