基于改进时空图卷积网络的人员交互行为识别
HUMAN INTERACTION BEHAVIOR RECOGNITION BASED ON IMPROVED SPATIAL TEMPROAL GRAPH CONVOLUTION NETWORK
雷静思 1刘双广 2刘乔寿 1王祥雪3
作者信息
- 1. 重庆邮电大学通信与信息工程学院 重庆 400065;重庆高校市级光通信与网络重点实验室 重庆 400065;泛在感知与互联重庆市重点实验室 重庆 400065
- 2. 重庆邮电大学通信与信息工程学院 重庆 400065;重庆高校市级光通信与网络重点实验室 重庆 400065;泛在感知与互联重庆市重点实验室 重庆 400065;高新兴科技集团股份有限公司 广东广州 510700
- 3. 高新兴科技集团股份有限公司 广东广州 510700
- 折叠
摘要
针对人员交互行为识别存在的多模态数据融合方法导致的识别准确率与模型性能无法同时满足的问题,提出一种基于改进时空图卷积网络的人员交互行为识别方法.将单模态骨架数据引入级联的密集时空图卷积块网络中获得丰富的时空特征信息,提高特征复用率;设计一种增强时空图卷积网络(EST-GCN)单元提高网络对关节点之间的信息表征能力;引入一种运动特征因子衡量肢体不同关节的重要程度,提高模型识别效果.在Kinetics数据集和办案区场景数据集上的实验结果表明,所提出方法在识别效果上具有一定优势,且该方法在模型复杂度及运行效率上具有很好的竞争力.
Abstract
Aimed at the problems that the recognition accuracy and model performance cannot be satisfied by multi-modal data fusion method for human interaction behavior recognition,a human interaction behavior recognition method based on improved spatial temporal graph convolutional network is proposed.The single-modal skeleton data was introduced into the cascaded densely spatial temporal graph convolutional block network to obtain rich spatial-temporal feature information and improve the feature reuse rate.An enhanced spatial temporal convolution network(EST-GCN)unit was designed to improve the information representation ability of the network between joints.A motion characteristic factor was introduced to measure the importance of different joints in the limbs to improve the model recognition effect.The experimental results on the Kinetics dataset and the case-handling area scene dataset show that the proposed method has certain advantages in the recognition effect,and the method is very competitive in model complexity and operating ef-ficiency.
关键词
交互行为/时空图卷积网络/骨架数据/密集Key words
Interactive behavior/Spatial temporal graph convolution network/Skeleton data/Densely引用本文复制引用
基金项目
国家自然科学基金项目(61901071)
重庆市自然科学基金重点项目(cstc2020jcyjzdxmX0024)
出版年
2024
国家科技期刊平台
NSTL
维普
万方数据