首页|融合时序特征约束与联合优化的点云3维人体姿态序列估计

融合时序特征约束与联合优化的点云3维人体姿态序列估计

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影.目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度.对此,本文提出了一种新的点云序列3维人体姿态估计方法.方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码.选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集.最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果.结果 在两个数据集上对本文算法进行评估.在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average preci-sion,mAP)比对比方法分别高0.99％、13.18％和17.96％.在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03％.同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性.与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2％ 以上.结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果.采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用.
3 D human pose sequence estimation from point clouds combing temporal feature and joint learning strategy

廖联军、钟重阳、张智恒、胡磊、张子豪、夏时洪

展开 >

中国科学院计算技术研究所, 北京 100190

中国科学院大学,计算机科学与技术学院, 北京 100049

北方工业大学信息学院, 北京 100144

人体运动 人体姿态估计 人体运动预测 点云序列 弱监督学习

国家重点研发计划国家自然科学基金北京市自然科学基金

2020YFF030470161772499L182052

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(12)
  • 30