摘要
多视图像三维重建作为一种精细还原现实场景的技术,在日常生活和生产工作中有着广泛的应用。无人机技术的迅猛发展,高精度且多视角的无人机序列图像获取变得更加方便快捷,为实现大尺度、广范围场景的高精度三维重建提供了强有力的数据支持。基于此,本文围绕多视无人机序列图像的三维重建关键技术展开研究,主要工作内容如下: (1)提出了一种针对多视无人机序列图像的基于引导滤波与自适应伽马校正的视网膜-皮层理论图像增强算法(RetinexBasedonGuidedFilteringandAdaptiveGammaCorrection,Retinex-GAG)。由于传感器自身的限制以及外界成像条件的限制,无人机图像往往存在辐射降质现象,如亮度失真、阴影遮蔽、颜色凌乱等,给特征点提取和匹配带来不确定性,进而影响三维重建的质量。为解决这一问题,在基于亮度知觉的视网膜-皮层理论(Retina-CortexTheoryofLightnessPerception,Retinex)的低光照图像增强网络(Low-lightImageEnhancementNetworkBasedonRetinex,RetinexNet)的基础上,引入引导滤波在对图像进行平滑去噪的同时保留边缘和细节信息。同时,伽马亮度自适应校正方法被引入以缓解过度增强导致的图像失真现象。另外,为防止过拟合,Retinex-GAG还在整个网络的损失函数中加入了L1正则化操作。在NPUDroneMap数据集和EpflQuartierNord数据集上进行对比实验,实验结果表明,与单尺度Retinex图像增强算法(SingalScaleRetinex,SSR)、多尺度加权平均的Retinex(Multi-ScaleRetinex,MSR)算法、基于颜色恢复的多尺度Retinex图像增强(Multi-ScaleRetinexwithColorRestoration,MSRCR)算法、RetinexNet这四种算法相比,Retinex-GAG表现出了更好的图像增强效果,并在BlendedMVS数据集验证了网络的泛化能力。 (2)针对多视无人机序列图像数据集中存在大量冗余匹配对的问题,设计了强化图像拓扑连接(EnhancedImageTopologicalConnections,Enhanced-ITC)来提取关键匹配对。首先,通过空间关系约束算法对图像匹配对进行初步筛选;然后,基于重叠面积表示匹配对的重要性建立初始拓扑连接,并利用最大生成树算法对其简化;接着,沿航向垂直方向扩展拓扑连接,得到增强的拓扑连接。在NPUDroneMap数据集和EpflQuartierNord数据集的实验结果,证明了所提方法能够高效地处理冗余匹配对,不仅有效地减轻了网络计算负担,还保证了三维重建的精度和效率。此外,在Colmap的两个测试图像集上对Enhanced-ITC的泛化能力进行了验证。 (3)提出了一种基于动态多尺度特征和内容感知聚合的深度估计网络(DynamicMulti-scaleFeaturesandContent-awareAggregation,DLC-RMVSNet)。该网络采用动态多尺度特征提取、轻量级代价体、内容感知的代价体聚合模块和循环卷积混合网络(RecurrentConvolutionalHybridNetworks,RNN-CNN)来提高网络的精度和运行效率,并在NPUDroneMap数据集和EpflQuartierNord数据集上进行了测试。结果表明,DLC-RMVSNet在典型的场景下均能得到良好的三维重建结果。在重建、完整度、显存占用、三维重建点数和运行时间等方面均优于传统的多视角立体网络(Multi-ViewStereoNetwork,MVSNet)。此外,在Pix4D的两个测试图像集上对DLC-RMVSNet网络的泛化能力进行了验证。