首页|基于双重时空特征金字塔的人体行为识别

基于双重时空特征金字塔的人体行为识别

扫码查看
原文链接
  • 万方数据
  • 维普
针对目前人体动作存在着行为识别准确率低的问题,提出一种基于双重时空特征金字塔网络结构的人体行为识别方法—DSTFP.该方法使用SlowFast网络作为骨干网络提取不同尺度的特征,并将多个尺度的特征输入双重时空特征金字塔进行处理以增加网络对多个尺度的敏感度.第一重为语义增强金字塔(SEEP),自顶向下融合多个尺度的特征,在不同尺度的特征中传递高层语义信息;第二重为空间增强金字塔(SPEP),采用自底向上的融合方式,在不同尺度的特征中传递空间定位信息.在公共数据集AVA上的实验结果表明:该方法能获得24.97mAP,相较于原网络提升了 0.77mAP,并有效地提升了人体行为识别的准确度,相比于同类算法更符合实际应用需求.
Human behavior recognition based on double spatiotemporal feature pyramid
Aiming at the problem of low accuracy of human action recognition at present,a human action recognition method,DSTFP,based on dual spatiotemporal feature pyramid network structure is proposed.This method uses the SlowFast network as the backbone network to extract features of different scales,and the features of multiple scales are input into a dual spatiotemporal feature pyramid for processing to increase the sensitivity of network's to multiple scales.The first step is the semantic enhancement pyramid(SEEP),which fuses features of multiple scales from top to bottom,and high-level semantic information is transmitted in the features of different scales.The second step is the spatial enhancement pyramid(SPEP),a bottom-up fusion method is adopted.The spatial positioning information is transmitted in the feature of different scales.The experimental results on the public dataset AVA show that this method can obtain 24.97 mAP,which is 0.77 mAP higher than the original network,and effectively improves the accuracy of human behavior recognition.Compared with similar algorithms,it meets requirements of practical application better.

neural networkfeature pyramidmulti-scale fusionhuman action recognitionvideo understanding

李贵、袁家政、刘宏哲、徐成

展开 >

北京联合大学北京市信息服务工程重点实验室,北京 100101

北京开放大学科学技术学院,北京 100081

神经网络 特征金字塔 多尺度融合 人体行为识别 视频理解

国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金北京市重点科技项目北京市重点科技项目协同创新中心项目北京联合大学学术研究项目北京联合大学学术研究项目北京联合大学学术研究项目北京联合大学学术研究项目

6187102862171042621020336190601761802019KZ201951160050KZ202211417048CYXC2203BPHR2020DZ02ZB10202003ZK40202101ZK120202104

2024

10.13873/J.1000-9787(2024)04-0132-04

传感器与微系统
中国电子科技集团公司第四十九研究所

传感器与微系统

CSTPCD北大核心
影响因子：0.61
ISSN：1000-9787
年,卷(期)：2024.43(4)
  • 17