首页|基于深度度量嵌入和生成对抗网络的遮挡行人重识别方法研究

基于深度度量嵌入和生成对抗网络的遮挡行人重识别方法研究

杨婉香

基于深度度量嵌入和生成对抗网络的遮挡行人重识别方法研究

杨婉香1
扫码查看

作者信息

  • 1. 厦门大学
  • 折叠

摘要

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定查询行人图像,从大规模图像库中检索出相同身份的行人图像。行人重识别在智能安防、视频监控等实际应用中扮演着重要的角色,在计算机视觉领域受到了广泛的关注。随着深度学习的发展,行人重识别的性能有了显著的提升。另一方面,自然场景中遮挡十分常见,例如背景遮挡、行人互相遮挡等,使得行人重识别在实际应用中性能严重下降。因此,研究如何学习判别性的深度度量嵌入表征,以及如何对遮挡行人图像进行去遮挡处理,用于遮挡场景下的行人重识别是一个具有实际价值和富有挑战的研究方向。本文的主要工作如下: 首先,现有的行人重识别方法大多提取不同局部区域的特征来处理遮挡,但是忽略不同局部区域之间的空间语义关系。本文提出一种新颖的行人重识别方法,其基于长短期记忆网络提取判别性的行人表征,用于处理遮挡问题。具体来说,本文利用长短期记忆网络学习不同局部区域的空间语义关系,从而得到多方向空间编码局部特征。同时,本文基于分类不确定性提出一种自适应近邻损失,可以在样本的近邻范围内有效减少类内变化,同时扩大类间差异。该损失可以使得深度神经网络学习一个嵌入空间,得到判别性的深度度量嵌入作为行人表征,从而有效提高模型识别新的行人的泛化能力。在多个有挑战性的行人重识别数据集上的对比实验结果,表明与当前先进的行人重识别方法相比,本文提出方法对于遮挡场景的行人重识别性能有明显地提升。 其次,考虑到在真实遮挡场景下,遮挡图像不仅丢失了相关目标信息,而且引入了额外的干扰信息,使得模型往往难以学习鲁棒的特征。同时,受生成对抗网络在多个计算机视觉任务上强大的图像生成能力的启发,本文提出了一种基于生成对抗网络的遮挡行人重识别方法。具体来说,本文首先利用成对的遮挡图像和原始图像训练生成器和判别器。生成器能够对随机设置的遮挡区域进行信息恢复,生成高质量的重构图;判别器能够区分输入图像是真实图像还是生成图像。其次,利用训练好的生成器,生成去除随机遮挡的训练图像,添加到原始训练图像,用于增加训练样本的多样性。最后,基于此扩增训练数据集,训练分类识别网络,有效地提高模型在测试数据集上的泛化性。在多个有挑战性的行人重识别数据集上的实验结果,验证所提出方法的有效性。

关键词

行人重识别/特征提取/深度度量嵌入/生成对抗网络

引用本文复制引用

授予学位

硕士

学科专业

计算机科学与技术

导师

严严

学位年度

2019

学位授予单位

厦门大学

语种

中文

中图分类号

TP
段落导航相关论文