摘要
基于多视图影像的三维重建方法通过简单的图像序列就可以还原出拍摄对象的真实三维空间结构，相较于二维图像更为精细和直观。集成化的三维重建软件极大地降低了对使用者的要求，因此可以广泛应用于各行各业，比如医疗健康、军事侦察、自动驾驶以及科研教育等，广泛的应用前景赋予了三维重建丰富的研究价值。本文的主要目标是在现有三维重建技术的基础上，提升其精确度和完整度指标，同时建立完善的工作流系统，进一步降低对使用者的专业技术要求。以CVP-MVSNet深度估计网络为基础，针对其存在问题进行研究改进，主要工作内容如下： 针对传统基于深度学习的三维重建算法所使用的特征提取网络存在全局和局部特征难以融合以及卷积信息丢失等问题。本文引入了 Conformer 特征提取框架并进行适配性改进，用其替代 CVP-MVSNet 原始的 CNN 特征提取网络，能够很好地耦合全局与局部特征。首先，对Conformer的主干特征提取网络进行简化，提取初步特征并使其作为CNN分支和Transformer分支的输入。其次，在CNN分支中融入 CVP-MVSNet 原有的特征提取网络，来保留充分的局部信息。最后，对Transformer分支和 FCU特征耦合单元进行适配性改进，将其全局特征融入 CNN分支。本文在DTU数据集上设置了相关实验，结果表明，对比原始特征提取网络，改进的网络在三维重建任务的完整度上提升了2.7%。 针对CVP-MVSNet网络的固定初始深度假设会对深度分布不均的场景造成实际深度密集区信息不足而实际深度稀疏区计算资源浪费等问题。本文提出了一种基于统计直方图优化的初始假设深度更新分支。首先，针对输入图像序列生成的初始深度图，对其进行深度直方图统计分析。然后，通过直方图分割法利用深度直方图的信息来生成新的深度候选集。以此将计算资源更多地集中在深度稠密且对最终重建结果影响较大的区域，从而降低无效搜索和计算，提高算法的整体运行效率。最后在DTU数据集上设置了相关实验，结果表明，改进后的网络可以在与原网络保持相近资源消耗的前提下，将重建结果的精确度提升1.01%。 最后，基于上述的改进 Conformer 特征提取网络以及新增的初始深度假设更新分支，结合基础模型CVP-MVSNet，并额外引入COLMAP以及MeshLab，实现了一套完整可用的多视图影像三维重建系统，并给出不同的实际场景测试重建效果，验证了本文系统的实用性。
NETL