计算机系统应用2018，Vol.27Issue(12) ：234-239.

基于RGB-D视频的多模态手势识别

Multimodal Gesture Recognition Based on RGB-D Video

马正文 蔡坚勇 刘磊 欧阳乐峰 李楠
计算机系统应用2018，Vol.27Issue(12) ：234-239.
✕
  • NETL
  • NSTL
  • 维普
  • 万方数据

基于RGB-D视频的多模态手势识别

Multimodal Gesture Recognition Based on RGB-D Video

马正文 1蔡坚勇 2刘磊 1欧阳乐峰 1李楠1
扫码查看

作者信息

  • 1. 福建师范大学光电与信息工程学院,福州350007
  • 2. 福建师范大学光电与信息工程学院,福州350007;福建师范大学医学光电科学与技术教育部重点实验室,福州350007;福建师范大学福建省光子技术重点实验室,福州350007;福建师范大学福建省光电传感应用工程技术研究中心,福州350007;福建师范大学智能光电系统工程研究中心,福州350007
  • 折叠

摘要

本文是对SKIG RGB-D多模态的孤立手势视频进行手势识别研究.首先将RGB和Depth两种单模态视频提取成图片的形式保存,然后采样成长度为32帧的手势序列分别输入到本文提出的稠密连接的3DCNN组件学习短期的时空域特征,然后将提取的时空域特征输入到卷积GRU网络进行长期的时空域特征学习,最终对单模态训练好的网络进行多模态融合,提升网络识别准确率.本文在SKIG数据集上取得了99.07％的识别准确率,达到了极高的准确率,证明了本文提出的网络模型的有效性.

关键词

手势识别/稠密连接的3DCNN/卷积GRU/时空域特征

引用本文复制引用

基金项目

福建省自然科学基金(2017J01744)

出版年

2018
计算机系统应用
中国科学院软件研究所

计算机系统应用

CSTPCD
影响因子：0.449
ISSN：1003-3254
被引量3
参考文献量16
段落导航相关论文