首页|基于骨骼的人体行为识别方法研究综述

基于骨骼的人体行为识别方法研究综述

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
人体行为识别在视频理解中发挥了重要作用。近年来，基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注。文中共整理了 102种基于骨骼的人体行为识别方法，并在9个公开数据集上对其进行了对比分析。按照特征学习方式的不同，分别介绍了基于手工特征的方法和基于深度学习的方法。其中，基于手工特征的方法按特征描述符的不同分为几何描述符、动力学描述符、统计描述符3个子类;基于深度学习的方法按网络主体的不同分为循环神经网络、卷积神经网络、图卷积网络、Transformer和混合网络5个子类。通过以上分析，不仅阐述了基于骨骼的行为识别方法的发展历程，还剖析了现有方法存在的泛化能力不强、计算成本高等局限。最后，从网络结构设计、相似动作区分、领域数据集拓展、多人交互等方面对未来研究方向进行了展望。
A Review of Skeleton-Based Human Action Recognition
Human action recognition plays a vital role in video understanding.In recent years,skeleton-based action recognition approaches have gained widespread attention due to their robustness against environmental interferences.This paper compiles 102 skeleton-based human action recognition methods and comparatively analyzes their performance on nine public datasets.This paper introduces the manual feature and deep learning based methods according to learning paradigms.Specifically,the manual feature methods are divided into three categories,i.e.,geometric,kinetic,and statistical representations,in the light of feature descriptor.Meanwhile,the deep learning based methods are classified into five subclasses by backbones,i.e.,recurrent neural net-works,convolutional neural networks,graph convolutional networks,Transformer,and hybrid networks.Through comprehensive analysis,we not only present the research status of skeleton-based action recognition but also conclude that the existing methods have limitations such as poor generalization ability and high com-putational cost.Finally,this paper looks into future research directions from the aspects of network structure design,similar action distinction,domain data set expansion,and multi-person interaction.

computer visionaction recognitionskeleton datamanual featuredeep learningneural network

黄倩、崔静雯、李畅

展开 >

河海大学计算机与信息学院 南京 211100

计算机视觉 行为识别 骨骼数据 手工特征 深度学习 神经网络

国家重点研发计划云南省重点研发计划中央高校基本科研业务费专项资金江苏省研究生科研与实践创新计划江苏省教育科学"十四五"规划项目江苏省高等教育改革研究项目河海大学2022年本科实践教学改革研究项目

2022YFC300540202203AA080009B230205027422003261D/2021/01/392021JSJG143

2024

10.3724/SP.J.1089.2024.2023-00358

计算机辅助设计与图形学学报
中国计算机学会

计算机辅助设计与图形学学报

CSTPCD北大核心
影响因子：0.892
ISSN：1003-9775
年,卷(期)：2024.36(2)
  • 122