重庆理工大学学报2022，Vol.36Issue(4) ：177-186.DOI:10.3969/j.issn.1674-8425(z).2022.04.022

基于CNN和BLSTM的连续手语识别

Continuous sign language recognition based on CNN and BLSTM

张淑军 王帅 李辉
重庆理工大学学报2022，Vol.36Issue(4) ：177-186.DOI:10.3969/j.issn.1674-8425(z).2022.04.022
✕
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据

基于CNN和BLSTM的连续手语识别

Continuous sign language recognition based on CNN and BLSTM

张淑军 1王帅 1李辉1
扫码查看

作者信息

  • 1. 青岛科技大学信息科学技术学院,山东青岛 266061
  • 折叠

摘要

相对孤立词识别,连续手语识别对上下文的时间依赖性更强、语义更加复杂且时序分割困难,目前的研究在识别精度、背景抗干扰性和抗过拟合能力等方面仍存在不足.为此,提出一种基于CNN和BLSTM的连续手语识别方法,通过自适应视频采样,对输入视频数据进行预处理,去除无关背景的干扰;在CNN空间特征提取的基础上,利用BLSTM双向语义依赖挖掘能力,对连续手语视频进行时序建模,构建CTC损失函数解决时间序列标签对齐问题.该算法在CSL和ConGD数据集上分别取得了98.4％和62.5％的平均识别率.

关键词

深度学习/连续手语识别/CNN/BLSTM/CTC

引用本文复制引用

基金项目

国家自然科学基金(61702295)

山东省重点研发计划(2017GGX10127)

出版年

2022
重庆理工大学学报
重庆理工大学

重庆理工大学学报

CSTPCD北大核心
影响因子：0.567
ISSN：1674-8425
被引量5
参考文献量2
段落导航相关论文