首页|动态模态交互和特征自适应融合的RGBT跟踪

动态模态交互和特征自适应融合的RGBT跟踪

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 可见光和热红外模态数据具有很强的互补性,RGBT(RGB-thermal)跟踪受到越来越多的关注.传统RGBT目标跟踪方法只是将两个模态的特征进行简单融合,跟踪的性能受到一定程度的限制.本文提出了一种基于动态交互和融合的方法,协作学习面向RGBT跟踪的模态特定和互补表示.方法 首先,不同模态的特征进行交互生成多模态特征,在每个模态的特定特征学习中使用注意力机制来提升判别性.其次,通过融合不同层次的多模态特征来获得丰富的空间和语义信息,并通过设计一个互补特征学习模块来进行不同模态互补特征的学习.最后,提出一个动态权重损失函数,根据对两个模态特定分支预测结果的一致性和不确定性进行约束以自适应优化整个网络中的参数.结果 在两个基准RGBT目标跟踪数据集上进行实验,数据表明,在RGBT234数据集上,本文方法的精确率(precision rate,PR)为79.2％,成功率(success rate,SR)为55.8％;在GTOT(grayscale-thermal object tracking)数据集上,本文方法的精确率为86.1％,成功率为70.9％.同时也在RGBT234和GTOT数据集上进行了对比实验以验证算法的有效性,实验结果表明本文方法改善了RGBT目标跟踪的结果.结论 本文提出的RGBT目标跟踪算法,有效挖掘了两个模态之间的互补性,取得了较好的跟踪精度.
RGBT tracking based on dynamic modal interaction and adaptive feature fusion

王福田、张淑云、李成龙、罗斌

展开 >

安徽大学计算机科学与技术学院多模态认知计算实验室,合肥 230000

合肥综合性国家科学中心人工智能研究院,合肥 230000

模态交互 模态融合 互补特征学习 模态特定信息 RGBT目标跟踪

62076003GXXT-2019-0071908085MF206

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(10)
  • 1
  • 1