摘要
近年来，随着社会和科技的进步，无人机技术不断成熟和普及，无人机航拍图像已成为获取地面信息的重要手段，其应用领域涵盖了军事侦察、灾害监测、城市规划、环境保护等众多领域。无人机搭载的传感器可获得高质量航空图像，为城市规划和农业管理等提供数据。然而，在大规模航空图像中准确地检测和识别小目标(如车辆、建筑物和人员等)仍然是一个具有挑战性的问题。传统的目标检测方法主要依赖于单一的可见光图像，这在不同的光照和天气条件下往往受到限制。红外与可见光图像的融合提供了一种解决方案，能够获得更全面的信息，极大地提高了目标识别的全天候性能。这种多模态融合的方法为无人机小目标检测领域带来了新的研究方向，为提高图像中目标的检测精度及其后续的分类与识别任务提供了有效的方法。 本文针对可见光图像与红外图像融合过程中未充分考虑模态间特性差异和光照条件变化的问题，开展了相应的研究工作。主要的研究内容如下: (1)针对当前多模态融合算法在不同融合阶段对目标检测任务的影响存在显著差异的问题，本文提出了一种基于自适应特征融合的多模态目标检测算法。该算法基于YOLOv5模型，优化了下采样步骤以适应小目标检测，并采取早期融合策略以减少信息丢失。另外，引入自适应特征融合(SACAF)模块，通过串行连接空间注意力和通道注意力，利用自适应融合公式增强融合后的目标特征。随后，将融合图像输入到后续网络进行特征提取、目标定位和分类。实验对比表明，SACAF模块的引入显著提升了多模态融合在全天候目标检测的性能，特别是在小目标检测上展现了更优的效果，证实了该模块的有效性。 (2)针对当前部分多模态融合算法未充分考虑光照变化对特征融合均衡性的影响，本文提出了一种结合光照感知与交叉注意力机制的融合算法。通过双向网络分析可见光和红外图像特征，引入光照感知模块评估光照变化对特征的影响，调整信息融合权重。然后进行模态归一化处理和交叉注意力增强互补特征，最终得到加权融合特征进行目标检测。实验结果表明，各个模块均有效地提升了目标检测的性能。DroneVehicle数据集上的验证进一步证明了该算法在无人机航空图像中具有优异的检测性能。 (3)为了具体展示所提算法的应用效果，本文构建了一个针对无人机航空图像的目标检测系统。此系统不仅包括本文提出的两种算法，还集成了现有的四种多模态融合算法。它将航空图像的预处理、目标检测、以及性能评估三大功能模块合而为一，并且在两种不同的数据集上进行了性能测试，成功证明了该系统的有效性和实用价值。
NETL