首页|时空双仿射微分不变量及骨架动作识别

时空双仿射微分不变量及骨架动作识别

Spatio-temporal dual affine differential invariants for skeleton-based action recognition

扫码查看
原文链接
  • NETL
  • NSTL
  • 维普
  • 万方数据
目的 人体骨架的动态变化对于动作识别具有重要意义.从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息.在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响.基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换.方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述.基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性.基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力.结果 实验在两个大型动作识别数据集NTU(Nanyang Tech-nological University)RGB+D(NTU 60)和NTU RGB+D 120(NTU 120)上与若干最新方法及两种基线方法进行比较,在两种实验设置(跨参与者识别与跨视角识别)中均取得了明显的改进结果.相比于使用原始数据的时空图神经卷积网络(spatio-temporal graph convolutional networks,ST-GCN),在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9％和3.0％;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6％ 和4.5％.同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力.结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力.

李琪、墨瀚林、赵婧涵、郝宏翔、李华

展开 >

中国科学院计算技术研究所智能信息处理重点实验室, 北京 100190

中国科学院大学, 北京 100049

运动分析 骨架动作识别 时空双仿射变换 微分不变量 通道增强 泛化能力

国家重点研发计划国家重点研发计划国家重点基础研究规划项目国家自然科学基金

2019YFF03018012017YFB10027032015CB55450761379082

2021

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2021.26(12)
  • 1
  • 4