摘要
近年来，由于日益增长的公共安全需求，越来越多的视频监控系统被部署在公共场所。面对视频监控系统产生的大量视频数据，如何在多摄像头间识别、检索以及追踪目标行人的行人重识别问题受到越来越多研究学者的关注。现有的单模态行人重识别领域的研究成果已达到较高水平，但无法在跨模态的场景下使用。红外光和可见光下的跨模态行人重识别对于视频监控系统，尤其是夜间监控具有重要意义。然而，光照条件、摄像机角度、行人遮挡、数据集不足、模态间的巨大差异、模态内的类内变化等问题给跨模态行人重识别研究带来了极大的困难。 针对以上问题，本文提出了与现有方法相比具有更高性能的基于深度学习的跨模态行人重识别方法。主要研究内容如下： （1）提出了一种基于卷积注意力机制和多损失联合的跨模态行人重识别 CAM-MLC网络模型基于双流网络结构，首先在双流网络的两支路中使用Resnet50网络前三层卷积层分别提取行人图片的浅层特征，然后嵌入卷积注意力机制模块以抑制颜色等无关信息的提取，并融合中层特征和支路骨干网络获取的最终特征提升获取特征的辨别力，最后采用双向跨模态三元组损失和身份损失联合约束双流网络，加快网络模型收敛，有效应对模态间的差异以及类内变化。 （2）提出了一种基于数据增强和关联全局与局部特征的跨模态行人重识别 DA-RGLF网络模型在数据增强部分使用通道级随机擦除（CRE）并结合TrivialAugment的数据增强策略扩充SYSU-MM01和RegDB数据集的规模和多样性。通过数据增强对行人遮挡场景下的跨模态行人重识别问题做了针对性的优化。此外DA-FGLF网络对行人图像中的全局特征和局部特征进行联合以增强特征表示。最后应用基于异中心的三元组损失替代传统的三元组损失来引导网络模型的训练以提高网络的性能。 本文对提出的CAM-MLC和DA-RGLF网络模型在SYSU-MM01数据集和RegDB数据集进行了一系列的实验，实验结果证明了本文所提方法在rank-1和mAP等评价标准上的提升及其有效性。
NETL