摘要
近年来，基于图像的虚拟试穿技术的研究已逐渐成为研究热点。试穿的图像应该具有清晰的服装纹理、与人体形状匹配的服装变形和高质量的多视角试穿结果。然而，现有的大多数虚拟试衣方法由于缺乏对服装区域的充分约束，难以处理较大的服装变形，并且生成的图像与人体不能完美贴合，生成未知视角的试穿图像时服装容易失真。为了解决这些问题，本文设计了一种能处理各种服装形态、生成多个视角的试穿图像、同时具有高质量试穿结果的虚拟试穿系统。其主要包含单一视角虚拟试穿与多视角试穿图像生成两部分。 （1）针对单一视角试穿图像生成过程中人体与服装未对齐并且试穿图像模糊的问题，提出的EVTON方法先通过几何网络模块生成服装扭曲参数，同时对非服装区域施加带有更大权重的感知损失，确保了在服装扭曲错误时能够动态调整重点区域，从而避免服装扭曲过度或插值错误。在试穿阶段，将服装掩码先行与网络渲染的粗糙图像求取哈达玛积，之后通过获取的组合掩码与扭曲后的服装合成试穿结果，避免了非服装部位产生有歧义的纹理内容。同时对生成试穿服装部位施加额外感知损失，重新加权人体其他部位，这促使服装区域的纹理清晰。 （2）针对生成的多视角试穿图像纹理模糊的问题，提出了PSR-Net方法，由正面视角的试穿结果渐进式的推理出背面视角的试穿结果。在输入的人体服装位置信息上，利用部分卷积进行区域识别，自监督的识别有效人体服装区域与无效区域，并通过三个共享参数的渐进式模块聚合信息流，这加强了对服装与人体信息的表征学习，从而构建了一个视角的人体服装区域到另一个视角的映射，确保了服装结构与纹理清晰。为了建立两个视角下的部位、纹理细节的相关性，构建了CFR模块将高层次人体服装语义注意力信息向低层次语义转移，确保了两个视角下的服装纹理一致。 分别在两个数据集上的实验表明，本文方法相比其他方法生成了更高质量的试穿图像，较好地解决了自遮挡与模糊问题。最终上述两个方法与人体解析器OpenPose和JPP-Net集成，构成的整体系统评估结果表明，该系统具有鲁棒性与高可用性。
NETL