摘要
行人重识别（Person Re-Identification），目的是在多个具有不同拍摄角度及拍摄范围的摄像头拍摄的行人图像中，匹配属于同一行人的图像。为应对夜间或低光照环境，引入了红外图像的可见光-红外跨模态行人重识别（Ⅵ-ReID）任务获得了越来越多的关注。其主要挑战包括，可见光和红外图像之间存在巨大的模态差异，以及相似外观、身体姿态等因素对判别性特征提取的干扰。为解决上述提到的问题，本文贡献如下： （1）针对行人关键信息挖掘不充分的问题，提出了判别特征完整性挖掘网络，设计了模态特征挖掘模块（MFEM），学习模态无关的特征的同时，保留有助于身份判别的模态特有信息。此外还设计了渐进式局部特征发现模块（PLDM），通过对特征逐级划分，保留行人局部特征的语义完整性。针对分布偏移问题，本文还设计了多中心度量损失，引导网络更有效地调整类内和类间距离。最后设计了概率对齐损失，以身份预测概率这一高阶语义知识引导网络缩小模态差异。本文在Ⅵ-ReID任务中的两个主流数据集上进行了广泛的实验，均表现出了出色的性能，证明了本文方法的有效性。 （2）针对现有方法中对模态间联系和模态内联系的挖掘不足的问题，提出了模态联系引导的语义一致性网络，由跨模态语义对齐模块（CSA）、跨粒度差异发掘模块（CDA）以及概率一致性约束模块（PCC）构成。CSA通过计算模态间的语义相似度来挖掘模态间联系，从而提取模态无关特征，并将学习到的模态无关知识迁移到骨干网络以应对只有单一模态输入的情况。CDA通过挖掘行人的多粒度判别特征，利用模态内联系，保留行人的个体差异。最后，PCC在概率层面对网络进行约束，与CSA协同引导网络进一步缩小模态差异。在Ⅵ-ReID任务中的两个主流数据集上进行的充分实验显示，本文方法的实验结果优于当前SOTA方法，综合达到了最优表现，证明了本文方法的有效性。
NETL