摘要
人体解析是一项细粒度语义分割任务，旨在根据输入图像预测像素所属的人体结构类别，拥有诸多现实场景。现有的人体解析模型基于低分辨率人体图像开发，难以满足高分辨率场景的需要。高分辨率数据集缺失、运算资源消耗大和细节预测性能差构成了高分辨率人体解析的三个挑战。为了解决上述问题，论文针对高分辨率人体解析的关键技术展开了一系列研究，主要内容如下: （1）针对高分辨率人体解析数据集的空缺，构建了一个高分辨率人体解析数据集Human4K。论文主要对某数据公司提供的原始数据进行清洗和标签整合，构成了含有4,000张标注精细的人体图像的数据集，在图像分辨率、标注质量和数据内容等方面呈现出优越性。其次，针对现有评估指标对细节部分评估能力不足的问题，论文定义了语义边缘区域，设计了针对语义边缘预测性能评估的指标平均边缘交并比mBIoU,并通过灵敏度分析验证其有效性。 （2）针对现有算法处理高分辨率图像时计算资源消耗过大的问题，提出了一种基于深浅层网络的高分辨率人体解析算法。该算法主要由高性能深层语义感知分支和轻量化浅层边缘感知分支组成。首先，高分辨率图像经过语义感知分支的编解码操作，得到丰富的语义信息和上下文信息。其次，边缘感知分支通过简单的卷积操作，进行物体边缘信息的提取，并采用稀疏的交错自注意力机制进行增强，压缩了网络深度。最后，语义信息和边缘信息通过通道注意力机制进行融合，实现信息互补，输出最终预测结果。同时，深浅层网络的设计理念充分提高了运算资源的利用效率。在高分辨率人体解析数据集Human4K上的结果表明，论文相较于基准方法，显存消耗降低了36.03％,mIoU和mBIoU的绝对数值分别提升了1.52％和0.53％,均衡了资源与性能。 （3）针对现有算法处理高分辨率图像时语义边缘性能较差的问题，提出了一种基于细节增强的高分辨率人体解析算法。首先，论文定义了人体解析Alpha蒙版和人体解析三分图以备后续使用。其次，该算法从结构上主要分为人体解析Alpha蒙版预测网络和物体上下文表征细节增强网络。高分辨率人体图像图像经过人体解析Alpha蒙版预测网络的处理，得到人体解析Alpha蒙版、粗糙解析和粗糙特征三个部分。再次，物体上下文表征细节增强网络将这三部分作为输入，实现细节的优化并输出精细特征。最后，粗糙特征与精细特征通过特征合成的方式进行融合，输出最终结果。该算法在Human4K验证集上的mIoU和mBIoU相较于基准方法分别净提升了1.81％和1.48％,可视化预测结果也表现得更加精细。
NETL