摘要
随着深度学习的发展以及无人机研究技术的进步，将深度学习与无人机相结合的应用变得越来越普遍与常见。在目标检测工作中，无人机凭借其高速灵活、活动范围广阔等特点，成为目标检测算法的理想载体。然而现有大多目标检测算法都是基于可见光进行研究，没有充分考虑无人机在高空飞行中观察地面目标时光线条件差、雾霾雨雪视野受限等特殊情况，都会影响目标检测的精度，并且无人机高空飞行时所采集的画面中以小目标为主，这些都会给无人机目标检测带来挑战。 本文提出了一种在无人机视角下基于可见光与红外多模态融合的小目标检测方法，利用了红外相机对光照条件不敏感，即能够在光照不佳或天气条件不利等条件下获取清晰的图像的优势，并将其与可见光模态信息有效融合实现更精确的目标检测，可以克服光照或部分天气带来的不利影响。本文提出的方法设计了特征分组感知模块，能有效解决红外模态中小目标特征提取不充分的难点；在各模态特征提取过程中设计了空间特征提取模块，能有效减弱背景信息的干扰，使模型专注于有效信息；在模态融合阶段设计了模态融合特征提取模块，模型能够动态地学习各个模态在通道维度对不同任务的贡献度，通过动态调整融合权重，使模型聚焦于更为关键的信息。本文进一步将该模型部署到软硬件协同工作的无人机目标检测平台上，利用光学分束器解决了多模态图像的配准难题，将JetsonOrinNX开发板作为机载边缘设备进行模型的推理运算，通过一系列实验证明了面向无人机的多模态目标检测算法的可行性和有效性。 本文还提出了一种面向无人机的多视角目标检测方法，解决了单一视角的目标检测存在视野边缘目标成像不完整导致的重要特征丢失的问题，避免检测算法出现错检、漏检的情况。算法同时将两个视角的图像分割成大小相同的patch，并进行切片分割、线性嵌入操作后，一同送入基于多头注意力机制的多视角匹配目标检测模型进行内容关联，通过不同patch局部特征相似度匹配结果实现相邻区域缺失特征的补充，训练模型从相邻视角中的相关区域获取必要的缺失内容，最终提高视野边缘目标的检测精度。为了训练和验证多视角目标检测模型，本文制作了DroneMulti-ViewDetect（DMVD）数据集，该数据集由5架无人机对相同区域进行多角度拍摄，数据集共有1500组时间维度上对齐的有效样本，并由专业人员进行了精确标注，在DMVD数据集上进行的实验与分析证明了基于多视角特征匹配和补充的策略可以提升目标检测的精度。 最后，本文对所提出的网络进行了总结，分析了优点与不足，提出了改进点与展望。
NETL