摘要
随着行人重识别技术在智能安防领域中广泛的应用，这一研究任务受到越来越多学者的重视。传统的行人重识别方法大多只关注单一模态下的行人识别问题，并且往往都是在光源充足的情况下进行图像的采集，而现实生活中的场景也会在光线昏暗甚至黑暗的情况下发生，这些情景需要使用红外摄像机进行记录，针对这一问题，跨模态行人重识别方法被提出。跨模态行人重识别进行可见光模态和红外模态行人图像之间的相互识别。它既要解决可见光和红外图像两者异质数据之间的模态差异问题，还要解决由于遮挡、行人姿势变化以及相机视角变化等带来的模态内差异问题。本文针对跨模态行人重识别展开了以下研究： （1）为了减小可见光图像和红外图像之间显著的模态差异，提出了一种基于对比学习的三模态跨模态行人重识别方法（Contrastive Learning based Tri-Modal Cross-Modal Person Re-Identification，CLTM）。该方法通过可见光图像生成一种辅助的灰度模态图像，灰度模态图像既保留了可见光图像的结构信息，又近似于红外模态的图像风格，作为两种模态之间的一种中间模态。本章使用模态共享的单通道网络学习模态不变的特征表示。基于对比学习设计了多模态对比损失减小相同类别特征的距离，扩大不同类别特征之间的距离。此外，还设计了多模态均值三元组损失进一步增强同类特征间紧凑性，以及异类特征可分性。并基于KL散度设计了分布一致性损失，使得三种模态特征的分布差异减小。 （2）为了进一步解决跨模态行人重识别中的模态差异问题，提出了一种基于对抗学习的三模态跨模态行人重识别方法（Adversarial Learning based Tri-Modal Cross-Modal Person Re-Identification，ALTM）。该方法采用对抗学习的思想减小模态差异。先使用模态特定的网络结构学习模态特定的低层特征，后续再接入模态共享的网络结构学习模态共享的中层特征。设计了以特征提取网络，多模态分类学习模块，多模态最大值三元组学习模块，以及分布一致性学习模块构成的生成器，并设计模态判别器对特征模态进行判别，采用最大最小博弈思想进行对网络参数进行优化。 （3）为了充分挖掘局部特征和全局特征，提出了一种基于局部与全局特征的对抗学习跨模态行人重识别方法（Global and Local Features based Adversarial Learning Cross-Modal Person Re-Identification，GLAL）。将可见光图像和红外图像输入模态特定的双通道网络，后续再接入模态共享的网络进行特征提取，通过基于局部的卷积基线（Part-based Convolutional Baseline，PCB）方法得到局部特征，通过全局池化操作得到全局特征。使用分类损失学习鉴别特征，采用基于异质中心的三元组损失减小相同类别特征的距离，扩大不同类别特征的距离，并采用对抗学习减小可见光和红外特征之间的模态差异。 为了验证以上方法的有效性，在SYSU-MM01和RegDB两个数据集上进行实验验证和分析，实验结果表明所提方法具有良好的识别效果。
NETL