重庆理工大学学报2023，Vol.37Issue(23) ：267-275.DOI:10.3969/j.issn.1674-8425(z).2023.12.031

基于SlowFast网络的孤立词手语识别算法研究

Research on isolated word sign language recognition algorithm based on SlowFast network

黄同愿 谭禹 朱金江
重庆理工大学学报2023，Vol.37Issue(23) ：267-275.DOI:10.3969/j.issn.1674-8425(z).2023.12.031
✕
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据

基于SlowFast网络的孤立词手语识别算法研究

Research on isolated word sign language recognition algorithm based on SlowFast network

黄同愿 1谭禹 1朱金江1
扫码查看

作者信息

  • 1. 重庆理工大学 两江人工智能学院,重庆 401135
  • 折叠

摘要

由于运动模糊、信息冗余以及不同人手语风格多样化等原因,目前的孤立词手语识别在识别精度、背景抗干扰性和识别速度等方面仍存在不足.为此,提出了一种新的手语识别方法——基于SlowFast网络和增强手部注意力的方法(EAH-SlowFast),其使用YOLOv5和DeepSort检测并追踪手部,提高对手部信息的关注度;在骨干网络中使用Focal损失函数增加模型的分类能力;改进了SlowFast网络结构并引入通道空间注意力机制,从而提高手部信息的权重并抑制背景噪声的干扰.此外,还提出了一种关键帧提取算法,可以在一定精度的损失下大大提高效率.经实验证实,EAH-SlowFast在DEVISIGN-D数据集上的Top-5准确率达到了97.79％,优于其他先进的手语识别算法.

关键词

孤立词手语识别/注意力机制/SlowFast/关键帧提取

Key words

isolated word sign language recognition/attention mechanism/SlowFast/keyframes extraction

引用本文复制引用

基金项目

重庆市自然科学基金(cstc2021jcyjmsxmX0605)

重庆市教育委员会科学技术研究项目(KJQN202001137)

出版年

2023
重庆理工大学学报
重庆理工大学

重庆理工大学学报

CSTPCD北大核心
影响因子：0.567
ISSN：1674-8425
参考文献量1
段落导航相关论文