首页|非局部注意力双分支网络的跨模态赤足足迹检索

非局部注意力双分支网络的跨模态赤足足迹检索

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 针对目前足迹检索中存在的采集设备种类多样化、有效的足迹特征难以提取等问题,本文以赤足足迹图像为研究对象,提出一种基于非局部(non-local)注意力双分支网络的跨模态赤足足迹检索算法.方法 该网络由特征提取、特征嵌入以及双约束损失模块构成,其中特征提取模块采用双分支结构,各分支均以ResNet50作为基础网络分别提取光学和压力赤足图像的有效特征;同时在特征嵌入模块中通过参数共享学习一个多模态的共享空间,并引入非局部注意力机制快速捕获长范围依赖,获得更大感受野,专注足迹图像整体压力分布,在增强每个模态有用特征的同时突出了跨模态之间的共性特征;为了增大赤足足迹图像类间特征差异和减小类内特征差异,利用交叉熵损失LCE(cross-entropy loss)和三元组损失LTRI(triplet loss)对整个网络进行约束,以更好地学习跨模态共享特征,减小模态间的差异.结果 本文将采集的138人的光学赤足图像和压力赤足图像作为实验数据集,并将本文算法与细粒度跨模态检索方法FGC(fine-grained cross-model)和跨模态行人重识别方法HC(hetero-center)进行了对比实验,本文算法在光学到压力检索模式下的mAP(mean average precision)值和rank1值分别为83.63％和98.29％,在压力到光学检索模式下的mAP值和rank1值分别为84.27％和94.71％,两种检索模式下的mAP均值和rank1均值分别为83.95％ 和96.5％,相较于FGC分别提高了40.01％ 和36.50％,相较于HC分别提高了26.07％和19.32％.同时本文算法在non-local注意力机制、损失函数、特征嵌入模块后采用的池化方式等方面进行了对比分析,其结果证实了本文算法的有效性.结论 本文提出的跨模态赤足足迹检索算法取得了较高的精度,为现场足迹比对、鉴定等应用提供了研究基础.
Non-local attention dual-branch network based cross-modal barefoot footprint retrieval

鲍文霞、茅丽丽、王年、唐俊、杨先军、张艳

展开 >

安徽大学电子信息工程学院,合肥 230601

中国科学院合肥物质科学研究院,合肥 230031

图像检索 跨模态足迹检索 非局部注意力机制 双分支网络 赤足足迹图像

国家重点研发计划国家自然科学基金安徽高校自然科学研究重点项目安徽高校自然科学研究重点项目

2020YFF030380361772032KJ2021ZD0004KJ2019A0027

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(7)
  • 1
  • 5