摘要
无人机凭借其灵活性、实时性以及便利性，在航空测量、地质勘测、物流配送以及国防军事等多个领域均具有巨大的应用潜力。无人机定位系统的发展是无人机相关应用的技术保障。基于视觉的无人机定位技术能够在卫星信号被干扰的情况下提供稳定准确的定位，是无人机定位系统的重要补充。本文围绕基于无人机的跨视角图像地理定位问题开展研究，其中的关键技术是跨视角图像匹配，主要涉及无人机图像和卫星图像之间的最相似检索匹配问题。无人机和卫星在视点、时间、光线、拍摄设备等方面的区别，使得拍摄图像在方向、尺度、位置、颜色风格、外观纹理等方面有着巨大的差异，高度与角度的变化更是带来了物体遮挡的问题，使得基于无人机的跨视角图像地理定位依旧面临巨大的挑战。为了应对这些问题，本文的主要研究内容及创新点如下： (1)提出了一种基于注意力机制引导加强局部特征的无人机跨视角图像地理定位算法。为了应对无人机图像视角变化范围大的问题，提出了一种基于注意力机制引导的自适应分割策略，利用视觉Transformer的自注意机制生成注意力图，在此基础上对图像进行非均匀的分割，帮助实现跨视角图像空间上的局部特征对齐。此外，还设计了一个区域标记生成模块，利用视觉Transformer中原本被忽略的图像块标记生成区域标记，用于加强局部特征信息，与类标记进行拼接形成最终的特征表示。在训练阶段，还采用了多次平衡采样策略以应对无人机图像和卫星图像数据不平衡的问题，并增加了额外的三元组损失函数来优化图像特征向量在特征空间中的分布，有效地提升了模型性能。 (2)提出了一种基于方向信息融合预测的无人机跨视角图像地理定位算法。为了加强对无人机飞行角度等先验信息的利用，提出了一种方向信息融合训练策略，用于指导网络模型学习无人机图像相对卫星图像旋转带来的视角变化。首先利用多视角三维重建技术对地理目标场景进行稀疏重建，然后通过相机位姿估计补充无人机图像缺少的角度相关先验信息，并编码为方向通道图像与RGB颜色通道进行拼接输入特征提取骨干网络。此外，还增加了一个额外的方向预测模块，通过输入拼接的跨视角图像特征进行方向分类预测。在训练阶段，方向通道图像与方向预测模块从两端共同指导网络模型学习无人机图像旋转方向信息，而在推理测试阶段，这两部分均被移除，在不增加额外推理计算成本的情况下有效提升了网络模型性能。 本文提出的算法在基于无人机的跨视角图像地理定位数据集上进行了测试验证及可视化分析，大量的实验结果证明了本文方法的有效性及合理性。
NETL