首页|基于双循环Transformer的三维人体姿态估计

基于双循环Transformer的三维人体姿态估计

扫码查看
原文链接
  • 万方数据
  • 维普
针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度.通过在视觉传感器采集得到的公开数据集Human3.6M上的仿真实验,验证了双循环Transformer算法的性能.分析结果表明,最终估计得到的三维人体关节点的平均关节点位置偏差MPJPE(Mean Per Joint Position Error)为41.6 mm,相比于现有方法有一定提升,可以应用到许多下游相关工作中,有着较强的应用价值.
3D Human Pose Estimation Based on Dual Circulation Transformer
A dual-circulation Transformer network is proposed for 3D human pose estimation from video captured by visual sensors,which is capable of effectively extracting highly correlated features in the spatio-temporal dimension from 2D key joints,thereby increas-ing the perceptual field and improving the accuracy of 3D pose estimation.The performance of the dual-circulation Transformer algo-rithm is verified through simulation experiments on the public dataset of Human3.6M,obtained from visual sensor captures.The analysis results reveal that the dual-circulation Transformer algorithm achieves a mean per joint point position error(MPJPE) of 41.6 mm for the final estimated 3D human joint points,demonstrating competitive detection results.Moreover,the proposed approach exhibits strong po-tential for application in various downstream related works.

signals and signal processing3D Human pose estimationdual circulation transformerspatial-temporal correlationvisual sensors

刘星、王宇晶

展开 >

南京信息职业技术学院数字商务学院,江苏 南京210023

南京中医药大学针灸推拿学院,江苏 南京210023

信号与信号处理 三维人体姿态估计 双循环Transformer 时空相关性 视觉传感器

南京信息职业技术学院校级基金江苏省高等学校"青蓝工程"项目江苏省高等学校基础科学(自然科学)研究面上项目国家自然科学基金青年基金

YK2021060123KJD52000812101319

2024

10.3969/j.issn.1004-1699.2024.07.018

传感技术学报
东南大学 中国微米纳米技术学会

传感技术学报

CSTPCD北大核心
影响因子：1.276
ISSN：1004-1699
年,卷(期)：2024.37(7)