摘要
目标跟踪作为计算机视觉领域重要的研究方向之一，在日常生活中具有广泛的应用。现有的基于可见光相机的目标跟踪算法在遇到快速运动、高动态范围和低照度等具有挑战性场景时，由于可见光相机本身的工作原理的限制，往往难以准确地捕捉到目标，会出现显著的性能下降。事件相机通过记录场景中每个像素的光照强度变化来生成异步的事件流，它具有更高的动态范围、更低的延迟以及对光线更高的敏感度，可以不受以上干扰因素的影响。本文开展了基于可见光相机和事件相机融合的目标跟踪方法研究，以实现更高准确率和鲁棒性的跟踪。具体如下: (1)本文设计了一种融合可见光相机和事件相机的孪生网络目标跟踪方法，将原有的单模态孪生网络目标跟踪模型扩展为双模态输入，通过结合可见光相机和事件相机两种模态的信息来实现更可靠的目标跟踪。同时基于注意力机制设计了一种高效的特征级融合方法用于融合两个模态的特征，实现特征间的信息交互，平衡两种模态的贡献，提高跟踪的鲁棒性。 (2)本文针对事件相机的特征提取网络设计了一种边缘注意力模块，用于增强骨干网络对目标边缘信息的提取能力，充分发挥事件相机的优势，提高事件域信息的贡献度。通过结合更高性能的孪生网络目标跟踪框架，最终提高跟踪器的性能。 本文在相关数据集上进行了对比实验，验证了所提双模态目标跟踪方法可以有效提高跟踪的精度和稳定性。同时，进一步的实验验证了所提特征融合方法和边缘注意力模块在提升跟踪性能上的有效性。
NETL