摘要
基于图像序列的三维重建技术能充分利用高分辨率图像中精细的纹理和颜色信息，重建物体或场景的立体三维结构，极大地促进人工智能感知技术的发展，在计算机辅助设计、自动驾驶等领域发挥着重要作用，但仍存在三个主要问题：第一，特征点检测阶段中，传统特征点检测算法需人为制定特定检测机制，泛化能力不足。现有的特征点检测网络由合成或传统算法标注的数据集训练，在真实场景图像中效果不佳，无法完成独立像素级特征点检测任务；第二，特征点匹配阶段中，在灰度图像基础上构建的特征描述符，缺少颜色和空间信息，导致特征点匹配的正确率不高；第三，运动恢复结构的三维重建流程中，图像采集方式受到限制，算法流程仅适用于由运动摄像机拍摄得到的多视角图像序列，在摄像机固定，物体运动的情况下拍摄得到的多视图图像序列上无法完成重建任务。 本文针对上述问题，依次从特征点检测、特征描述符构建和相对运动三个层面展开研究并作出改进，主要工作内容如下： 1、采用神经网络进行特征点检测，针对现有的传统特征点检测算法和特征点检测网络泛化能力不强，在真实场景图像上效果不佳的问题，通过引入图像灰度不变量技术，设计并实现具备像素级特征点检测能力的Resinv-Unet网络，提升了特征点检测精度和在真实场景图像上的泛化能力。消融实验结果表明本文对Unet网络所做的改进是必要的，原Unet网络无法用于完成特征点检测任务。对比实验结果表明，Resinv-Unet模型在与各传统特征点检测算法和特征点检测网络的对比中均取得显著优势，相较于比较对象中性能最好的MagicPoint模型，平均精确度的提升率高达16.78%；精确度的提升率为1.87%；召回率得到16.16%的提升；F1score的提升率达到9.32%。 2、设计并实现C-colour不变量特征描述符，针对现有特征描述符丢失颜色信息和空间信息的问题，在高斯颜色模型上计算C-colour不变量，用于构建特征描述符，实现对特征点局部图像信息的全面描述。对比实验结果表明，基于C-colour不变量的特征描述符具有最独特的视觉性质和最良好的性能指标，相比于基于灰度图像构建的特征描述符，正确匹配的特征点对的提升率高达159.10%，相比于基于灰度不变量构建的特征描述符，正确匹配的特征点对的提升率达71.93%，均得到显著提升。 3、设计并实现相对运动恢复结构算法，针对运动恢复结构算法流程中，图像采集方式受限的问题，引入相对运动机制，通过先验知识获取特征点检测掩码，约束特征点检测范围，完成不限制图像采集方式的三维重建任务。使相对运动恢复结构算法适用于任意方式拍摄得到的多视图图像序列，并有效地提高三维重建算法的性能。实验结果表明，相对运动恢复结构算法能将位于目标物体区域的匹配对占总匹配对的比例从46%提高到73%，相较于传统的运动恢复结构算法在时间效率上得到29.08%的提升。 本文所设计的三维重建技术在各个相关评价指标上，均取得显著改进，其中平均重投影误差降幅高达93.5%。
NETL