首页|基于语义约束的素色场景行人重识别问题研究

基于语义约束的素色场景行人重识别问题研究

赵妍

基于语义约束的素色场景行人重识别问题研究

赵妍1
扫码查看

作者信息

  • 1. 延边大学
  • 折叠

摘要

行人重识别(reID)旨在多摄像头的复杂场景中,快速定位查找指定目标的所有结果,被广泛认为是行人检索的子问题。行人重识别利用计算机视觉技术判断图像或者这些摄像头所产生的海量监控视频中,是否存在特定行人的技术。引入注意力机制来建模全局和局部特征的行人重识别方法,现已成为主流方案,这些方法大多是根据衣服的属性(例如颜色,纹理等)来提取特征。但在实际的应用场景中,我们发现人们通常穿着素色(无彩色,指黑,白,灰)的衣服,或者当光照较弱的情况下,摄像头捕捉到的行人衣服颜色看起来像素色,衣服的属性严重缺失,对行人重识别算法产生了巨大的挑战,然而很少有文章关注此类问题,因此本文提出素衣行人重识别问题(achromatic-reID),旨在研究穿素色衣服的行人和由于光照影响使行人衣服看起来像素色时的行人重识别问题。本文为了解决素衣行人重识别问题,建立了素衣行人重识别数据集(achromatic-reID数据集),并做出了如下工作: 针对素衣行人重识别问题,由于素衣行人衣服属性严重缺失,而基于现实场景中人体的头肩部位不易遮挡,且具有丰富的鉴别信息(例如发型,性别)的原因,本文采用行人全局特征和头肩特征相结合的方式,对于头肩区域的分割设计了头肩部位语义分割器,得到头肩部位标签。 针对现实场景行人衣着颜色各异,为了使模型在现实场景和素衣场景都可使用。本文提出了自适应注意力模块,根据输入行人衣着颜色类型是否为素色来确定全局和头肩特征权重。当一个人穿素色衣服时,会对其头肩特征给予更高的权重,否则给予全局特征更高的权重。 针对应用语义分割网络导致网络繁重,网络的预测速度缓慢的问题,本文提出引入头肩语义约束,全局特征与头肩特征之间的距离将通过头肩约束而缩短,经过约束后的全局特征就会包拥有部分头肩信息。将全局特征和引入头肩语义约束的全局特征输入自适应注意力模块,使输出的模型在常规场景和素衣场景都可用。从而在提高精度的同时缩短预测时间。 将本文提出得模型在素衣数据集achromatic-reID和公开数据集Market1501上进行实验,本文在mAP评价指标上分别获得了81.0%和89.3%的成绩,说明我们提出的素衣行人重识别问题确实存在,并且我们的模型获得了和目前流行的行人重识别模型基本等同的效果。另外,由于本文引入了语义部位约束,相比以前引入额外语义的方法,在提高了精度的情况下,有效缩短了计算所需要的时间。

关键词

行人重识别/局部特征/语义分割/深度学习/注意力提取

引用本文复制引用

授予学位

硕士

学科专业

应用统计

导师

尹永学

学位年度

2022

学位授予单位

延边大学

语种

中文

中图分类号

TP
段落导航相关论文