首页|基于深度学习的单模态和跨模态行人重识别研究

基于深度学习的单模态和跨模态行人重识别研究

曾涛

基于深度学习的单模态和跨模态行人重识别研究

曾涛1
扫码查看

作者信息

  • 1. 合肥工业大学
  • 折叠

摘要

随着智能安防和视频监控领域的需求与日俱增,越来越多的视频监控设备被部署安装,从而导致监控视频数据量呈爆发式增长,为了对这些海量的监控视频数据进行智能分析,引入人工智能技术已成为必然趋势。其中,行人重识别技术作为智能分析的关键技术支撑,正受到广泛的关注和研究。行人重识别旨在解决跨镜头情景下行人跟踪与检索问题,它是利用计算机视觉技术判别在指定的图片或视频序列中是否具有指定行人的技术,在视频监控、智能零售、刑事侦查、军事战略等领域都有着极高的应用价值。考虑到行人重识别技术在实际智能安防系统中落地问题,本文针对目前行人重识别领域中存在的不足和挑战,对传统的可见光单模态行人重识别问题和可见光红外光跨模态行人重识别问题分别展开研究,并提出了相应的解决方案,本文主要研究内容如下: 针对现实场景下可见光单模态行人重识别由于受到摄像机视角变化、行人姿态变化、物体遮挡、图像低分辨率以及行人图片未对齐等各种因素的影响而造成行人判别性特征难以获取问题,本文设计了一种混合池通道注意力模块和一种全像素空间注意力模块,并基于这两种注意力模块提出了一种通道和空间双重注意力网络。通过在传统行人重识别深度模型框架中分阶段融入上述两种注意力模块,获得由粗糙到细腻的注意力特征,并通过深度网络互补训练学习,最终得到判别性强的行人识别特征。最后,在单模态行人重识别领域三个大型公开数据集上对所提方法进行验证,与现有前沿算法相比,所提方法能够提取更具鲁棒性和判别性的行人表征特征,有效提高行人重识别的准确率。 针对可见光红外光跨模态行人重识别中与模态无关的具有鲁棒性和判别性的行人特征难以获取问题,本文基于混合双通路神经网络架构提出了一种类内和类间双重约束的跨模态行人重识别方法。具体而言,首先通过参数非共享的双路径神经网络分别获得两个模态所特有的特征,然后在上述基础上通过使用参数共享的深度网络结构,把两个模态的特征数据统一地映射到一个共享的特征表征空间中,从而将跨模态行人重识别问题转换到常规的单模态行人重识别研究框架下,之后在该共享的特征空间中对类内一致性和类间辨别性进行同时约束,最终通过深度模型训练学习得到与模态无关的行人判别性特征。在跨模态行人重识别领域两个常用公开数据集上对所提方法进行验证,与现有前沿算法相比,所提方法能够提取更具鲁棒性和判别性的行人表征特征,有效提升跨模态行人重识别的性能。

关键词

行人重识别/深度学习/注意力机制/共享特征空间

引用本文复制引用

授予学位

硕士

学科专业

计算机科学与技术

导师

薛峰

学位年度

2022

学位授予单位

合肥工业大学

语种

中文

中图分类号

TP
段落导航相关论文