首页|基于紧耦合时空双流卷积神经网络的人体动作识别模型

基于紧耦合时空双流卷积神经网络的人体动作识别模型

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型.首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆(LSTM)网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆(Bi-LSTM)网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别.在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2％和70.1％.实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度.
Human action recognition model based on tightly coupled spatiotemporal two-stream convolution neural network

李前、杨文柱、陈向阳、苑侗侗、王玉霞

展开 >

河北大学网络空间安全与计算机学院,河北保定071002

人体动作识别 时空模型 卷积神经网络 遗忘门 特征融合

河北省自然科学基金资助项目

F2020201011

2020

10.11772/j.issn.1001-9081.2020030399

计算机应用
中国科学院成都计算机应用研究所

计算机应用

CSTPCDCSCD北大核心
影响因子：0.892
ISSN：1001-9081
年,卷(期)：2020.40(11)
  • 5
  • 4