摘要
三维人体重建用于从二维图像中重建出三维人体模型，在医疗领域、虚拟人交互领域、体育科学等领域中广泛应用。当前方法存在缺少人体动作先验、泛化能力差、对遮挡场景效果不佳等问题。为解决以上问题，本文利用深度学习及SMPL(Skinned Multi-Person Linear)人体参数模型分别实现单人和多人场景下的三维人体重建，其主要研究内容如下: (1)针对单人三维人体重建缺乏人体动作先验，易出现三维人体模型动作重建动作异常、不符合原始图像等问题，本文提出三维关节点信息和图像特征融合的方法实现三维人体重建。首先，使用ResNet-50提取原始图像特征;其次，使用OpenPose对原始图片中的人体二维关节点提取;再次，将二维关节点作为输入使用三维关节点预测网络得到三维人体关节点;然后，将三维人体关节点与图像特征融合;最后，使用迭代回归网络预测SMPL人体模型参数。在Human3.6M数据集上评估重建误差与前人工作比较降低。 (2)针对多人场景中广泛存在遮挡现象，如何增强多人三维人体重建任务的泛化性，提高模型准确性的问题，本文提出了基于生成对抗网络的多人三维人体重建网络。首先，通过特征提取网络ResNet-50得到图像特征;然后，通过一个三头网络预测分别得到人体参数、相机参数以及人体在图像中的位置信息;其次,将得到的人体参数输入到SMPL参数优化器中，通过对比真实人体参数数据集AMASS,优化人体参数;最后，利用优化后的人体参数、相机参数以及人体位置信息得到多人三维人体重建网格。在3DPW数据集上评估重建误差与前人工作比较降低。 (3)为使用户能够更好地从二维图像重建三维人体，本文设计并实现三维人体重建系统，集成上述的单人和多人三维人体重建算法。首先，根据用户所设参数调整三维人体重建网络参数配置文件，使用读入的数据集训练网络框架;其次，评估训练好的模型，输出模型的重建误差;此外，用户可以选择图像在系统中重建三维人体。
NETL