摘要
本文的核心研究内容是基于深度学习的图像点云融合算法。针对目前融合算法中存在的特征丢失、数据增强不一致、数据互补性不足、局部关键信息的弱语义性等问题，本文进行了以下研究： （1）针对图像点云融合中存在的特征信息丢失和数据增强不一致的问题，提出了基于交叉注意力机制的动态融合算法。首先，针对融合过程中特征丢失和数据噪声问题，提出交叉注意力动态融合策略；然后，针对图像点云数据增强存在的不足以及不一致性问题，提出了同步数据增强策略。该算法实现了对特征信息的深层次理解和互融互补，解决了特征丢失和数据噪声问题；同时解决数据增强不一致的问题，增强了模型对于不同场景和环境的适应能力以及模型的鲁棒性和泛化能力。 （2）针对图像与点云数据融合存在的信息互补需求和数据互补性不足的问题，提出了基于模态转换的图像点云融合算法。首先，该算法通过从原始二维RGB图像中预测并生成深度信息，从而构造出RGB-D图像，并进一步将其转化成映射点云表示，有效应对了点云数据在特定区域内存在的稀疏和缺失情况。在这一融合方案中，巧妙地结合了二维图像所携带的丰富视觉特征与点云数据提供的精确三维几何信息，成功构建了完整和精细的三维检测算法。通过这种方法，显著提升了三维目标检测的准确性，进而增强了自动驾驶车辆等三维环境感知系统的性能稳定性。 （3）针对图像点云融合中局部关键信息的弱语义性问题，提出了基于多维度的图像点云融合算法。此算法旨在从全局和局部两个维度出发，提升对局部关键信息的语义理解能力。具体来说，算法运用深度学习手段对图像与点云数据进行全局特征融合，生成了一个统一的场景描述，结合了全局上下文信息。继而，在二维图像已识别出的感兴趣区域（ROI）基础上，算法进一步将这些感兴趣区域对应映射到点云空间中，然后执行局部特征融合步骤。通过全局和局部两个维度充分利用图像与点云数据的优势，基于多维度融合的图像点云融合算法有力增强了对局部关键信息的语义表达力，使得算法能够精确识别并深入理解目标物体的关键特征。
NETL