摘要
视觉目标跟踪作为计算机视觉的研究热点之一，旨在定义了目标的初始位置和大小等状态信息之后，预测目标在视频后续帧中的状态信息。近年来，受益于深度学习技术和计算机硬件设备的发展，涌现出许多优秀的跟踪算法。然而在现实场景中，跟踪算法仍需面临遮挡、相似物干扰和目标尺度变化等复杂多变的因素影响。因此，设计一种精度高、实时性好的跟踪算法依旧是一个具有挑战性的问题。本文主要针对开放场景的单目标跟踪问题开展研究工作，并探索了相似背景干扰、目标尺度变化和线性相关语义信息丢失等导致的跟踪精度下降的问题。基于孪生网络跟踪模型，结合注意力机制原理，立足于构建有效、丰富的外观特征表达，开展了对准确、鲁棒的跟踪模型的研究工作。本文主要工作如下： (1)提出一种基于协同注意力孪生网络的视觉跟踪算法(CGS)，解决搜索图像中存在背景干扰，导致跟踪精度下降的问题。在SiamRPN跟踪算法的基础上，引入协同注意力模块，学习搜索特征与模板特征之间的交互关系，并用于增强模板和搜索区域的判别性特征，减少了相似背景语义信息的干扰，从而抑制了错误相关结果的生成。同时，在模板分支引入门机制，从通道维度强化目标外观的特征表达，进而提高算法的跟踪精度。 (2)提出一种基于分层特征融合 Transformer 的孪生网络视觉跟踪算法(SiamHFFT)，解决跟踪过程中目标发生尺度变化，尤其对小目标物体跟踪效果欠佳的问题。在孪生网络跟踪架构的基础上，通过骨干网络提取不同尺度和语义信息的分层特征，将详细的结构信息纳入视觉表征。设计了一个新颖的特征融合Transformer 将底层的空间信息和高层次的语义信息融合，整合和优化多层次多尺度特征，在跟踪过程中强化语义信息和空间细节，有效提高了跟踪算法的精度；同时为避免特征提取过程中计算量过大，影响算法跟踪速度的问题，利用轻量型骨干网络，降低计算量，提高了算法的跟踪速度。 (3)提出了一种基于多头交叉注意力机制的 Transformer 视觉跟踪算法(MCTT)，解决传统跟踪模型采用的线性相关匹配操作，导致语义信息的丢失或陷入局部最优解的问题。利用多头交叉注意力机制学习不同子空间的相关信息，自适应的关注关键特征，从而更深层次的挖掘模板和搜索区域之间的全局信息交互。同时设计了一个简易的辅助掩码预测头网络，将现有的主干网络特征和Transformer编码器-解码器特征以耦合的方式结合在一起，获得高分辨率像素特征并生成掩码，从而得到更准确和有效的跟踪结果。
NETL