基于骨架关键关节构建时空金字塔模型的人体行为识别
HUMAN ACTION RECOGNITION BASED ON MOST INFORMATIVE JOINTS OF SKELETON AND SPATIO-TEMPORAL PYRAMID
司宇航 1周天彤 1冯珂垚2
作者信息
- 1. 常州大学信息科学与工程学院 江苏常州 213164
- 2. 中国科学院智能红外感知重点实验室 上海 200083;中国科学院上海技术物理研究所 上海 200083
- 折叠
摘要
针对当前骨骼数据信噪比低及特征信息不足的问题,提出人体关键关节构建时空金字塔模型的动作识别方法.该算法利用人体骨架关键关节构建空间域金字塔特征,保留骨架铰链系统的空间结构;利用多层级叠加协方差,构建时序金字塔特征,解决需要预处理视频序列长度的问题.在MSR-Action3D和UTKinect数据集上的实验结果表明,该方法准确率高、实时性好,可广泛应用于行为识别的各个领域.
Abstract
Aiming at the problems of low signal-to-noise ratio and insufficient feature information of current bone data,this paper applies a human action recognition method combining most informative joints with spatiotemporal pyramid.It extracted most informative joints of the human skeleton to construct spatial domain pyramid features,and used multi-level superimposed covariance to construct temporal pyramid features,which not only preserved the spatial structure of the skeleton hinge system,but also solved the problem of preprocessing the length of the video sequence.Experimental results on the MSR-Action3D and UTKinect dataset show that the method has high accuracy and good real-time performance,and can be widely applied in various fields of behavior recognition.
关键词
人体行为识别/3D骨骼数据/时空金字塔模型/关键关节Key words
Human action recognition/3D skeleton sequence/Spatio-temporal pyramid/Most informative joint引用本文复制引用
基金项目
江苏省科技厅社会发展项目(BE2018638)
江苏省"333高层次人才培养工程"项目()
常州市社会发展项目(CE20195025)
江苏省教育厅首批中外合作办学平台联合科研项目()
浙江省脑机协同智能重点实验室开放基金资助项目(2020E10010-04)
出版年
2024
国家科技期刊平台
NSTL
维普
万方数据