摘要
足迹承载着人体独一无二的生物特征，在司法鉴定和身份识别中扮演着重要的角色。传统的足迹分析大多依赖于专家的经验，因此逐渐开始采纳神经网络技术以拓宽其分析范围和准确性。虽然神经网络在单一模态的足迹特征提取和检索领域表现较好，但在面对不同模态间油墨捺印足迹与压力足迹跨模态检索时，尚未形成一套普适的解决算法。为了解决上述问题，本文构建了油墨捺印-压力跨模态足迹图像数据集，并给出了基于渐进式多特征融合的跨模态足迹检索方法。本文主要研究内容如下: (1)为解决跨模态足迹图像数据集的匮乏问题，本文构建了 96人的油墨捺印-压力跨模态足迹图像数据集，使用油墨捺印和压力足迹采集设备采集足迹图像。采集的原始足迹图像采用足迹检测与分割、去噪和数据增广等预处理方法，构建了油墨捺印-压力跨模态赤足足迹图像数据集与油墨捺印-压力跨模态穿鞋足迹图像数据集。 (2)针对赤足的油墨捺印-压力跨模态足迹图像检索，本文提出了一种基于伪彩化和渐进式多特征融合的足迹图像检索方法，发掘油墨捺印的灰度信息，通过灰度信息伪彩化油墨捺印足迹图像，减小不同模态间的差异。本文采用多特征融合方法，旨在全面捕获和利用足迹图像的各种尺度特征。本文引入了注意力模块和渐进式训练策略，使用KL散度约束不同阶段特征，强制差异化多尺度局部特征学习，以提高对赤足足迹细粒度特征的检索性能。在油墨捺印-压力跨模态赤足足迹数据集上取得Rank-1率为89.27％。 (3)在跨模态赤足检索的基础上，本文将研究拓展到油墨捺印-压力跨模态穿鞋足迹图像检索。针对鞋印纹理导致类间差异小、类内差异大的问题，引入了中心差分卷积模块，以突出鞋印图像的细节信息。针对不同尺度特征关注的纹理与重压区域可能不同的问题，采用渐进式空间自适应特征融合方法，以更好地保留和利用空间信息。针对特征隐蔽问题，采用交叉熵损失和难分三元组损失进行联合训练，从而提高了油墨捺印-压力跨模态穿鞋足迹图像检索任务的准确率，Rank-1率达到90.34％。 (4)基于跨模态足迹图像检索算法，本文设计了油墨捺印-压力跨模态足迹图像检索系统，涵盖了从油墨捺印图像处理、特征建库、人员信息检索、检索结果展示等功能。该系统实现了对油墨捺印足迹图像检索流程的优化，简化了原本复杂的足迹图像分析流程，使得理论向应用场景落地。
NETL