摘要
人体数字化技术在如今互联网技术高速发展的时代获得了越来越多的关注。人们渴望拥有高质量的数字化身，作为自己在数字生活中的代言人。传统的方法需要复杂的采集系统，针对特定人物进行耗时的处理，才能得到该人物高质量的重建。显然，这种流程不适合于广大普通用户。近年来，随着深度学习的发展，使得利用单目图像等便捷的输入对一般人物重建高保真的几何成为了可能。本文围绕三维人体重建这一主题，主要考虑基于方便获取的输入，对赤身人体和穿着任意衣物的人体进行便捷的重建，并在以下三个方面取得了创新性的成果: (1)赤身人体几何包含了由性别、种族和姿态等因素带来的丰富变化，为了有效地使用身份和姿态解耦的低维参数表达人体几何，提出使用具有强大非线性表达能力的神经网络对几何表示进行编码，并创新地利用人体的铰链结构来设计网络结构，有效地提高了重建精度。为了提供足够的训练数据，收集了大量开源的赤身人体几何数据集，并通过非刚性注册将它们转化为连接关系一致的网格表示。基于构建的人体表示，展示了使用二维稀疏关节点和单目RGB-D视频等便捷输入的人体重建能力。 (2)由于人们在日常生活中都是穿着各式衣物的，提出了针对日常单张人物图像的重建方法。为了一定程度解决这一困难问题，仅支持有限的衣物类型，提出人体和衣物分离的参数化表示。然后利用神经网络强大的拟合能力，从图像直接回归对应参数。但是训练该网络需要大量的图像几何成对数据，而穿衣人体高精度的几何数据是难以获得因而非常匮乏的。为了解决这一困难，分别利用物理模拟和优化拟合的方法合成了高质量的成对数据，并完成了模型的训练。基于我们的参数化结果，能够进行一些有趣的应用，例如三维人物的换衣和衣物纹理编辑等。 (3)由于单张图像无法完整获取穿衣人物的整体信息，提出了针对任意人物处于双手轻微上抬并自然站立的A姿态下的自转视频进行高精度几何重建的方法。一方面，由于衣物多变的物理属性以及和人体几何复杂的交互带来的大量高频形变，使得参数化表示无法捕捉任意衣物的拓扑和几何。另一方面，使用合成数据训练的网络模型，其表达能力依赖于数据集的分布，难以泛化到真实场景。基于此，使用隐式神经表示来表达任意复杂的几何，并利用神经渲染对输入视频进行自监督的优化。最终，从单目自转序列中，能够得到高保真的几何和较为真实的渲染图像，且重建结果具有一致的拓扑，方便下游各种应用。
NETL