首页|基于SlowFast网络的孤立词手语识别算法研究

基于SlowFast网络的孤立词手语识别算法研究

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
由于运动模糊、信息冗余以及不同人手语风格多样化等原因,目前的孤立词手语识别在识别精度、背景抗干扰性和识别速度等方面仍存在不足.为此,提出了一种新的手语识别方法——基于SlowFast网络和增强手部注意力的方法(EAH-SlowFast),其使用YOLOv5和DeepSort检测并追踪手部,提高对手部信息的关注度;在骨干网络中使用Focal损失函数增加模型的分类能力;改进了SlowFast网络结构并引入通道空间注意力机制,从而提高手部信息的权重并抑制背景噪声的干扰.此外,还提出了一种关键帧提取算法,可以在一定精度的损失下大大提高效率.经实验证实,EAH-SlowFast在DEVISIGN-D数据集上的Top-5准确率达到了97.79％,优于其他先进的手语识别算法.
Research on isolated word sign language recognition algorithm based on SlowFast network

isolated word sign language recognitionattention mechanismSlowFastkeyframes extraction

黄同愿、谭禹、朱金江

展开 >

重庆理工大学 两江人工智能学院,重庆 401135

孤立词手语识别 注意力机制 SlowFast 关键帧提取

重庆市自然科学基金重庆市教育委员会科学技术研究项目

cstc2021jcyjmsxmX0605KJQN202001137

2023

10.3969/j.issn.1674-8425(z).2023.12.031

重庆理工大学学报
重庆理工大学

重庆理工大学学报

CSTPCD北大核心
影响因子：0.567
ISSN：1674-8425
年,卷(期)：2023.37(23)
  • 1