首页|基于深度学习的自监督单目深度估计算法研究

基于深度学习的自监督单目深度估计算法研究

田径

基于深度学习的自监督单目深度估计算法研究

田径1
扫码查看

作者信息

  • 1. 自动化学院
  • 折叠

摘要

深度估计算法是计算机视觉领域中重要的研究方向之一,随着卷积神经网络在图像领域内的广泛应用,基于深度学习的自监督单目深度估计算法,凭借其不需要额外三维感知设备获取真值数据的优点,逐渐成为了深度估计领域内的研究新热点。而当基于图像重建的自监督深度估计算法运用到复杂场景中时,仅依赖重建图像的光度损失不足以约束深度估计,特别是当使用单目视频序列数据时,存在遮挡、动态区域以及尺度不一致的问题。结合模型实际使用的安全性问题,本文研究主要针对在两类数据集上得到的自监督单目深度估计算法模型,着重研究如何提升精度以及对不确定度进行估计。本文算法主要工作如下: 首先,本文提出了基于双目立体图像对数据的自监督单目深度估计算法,该算法将深度预测问题转换为各尺度局部平面参数预测问题,使用完全可微的方式代替双线性采样来将多尺度预测恢复到标准尺度,在恢复过程中添加了邻域的几何关联,同时为网络添加了一定的几何约束。结合在跳层连接中添加串联的双注意力机制,更好地结合图像的高级语义信息以及浅层特征,以得到精确度更高的深度图估计结果。实验结果表明,该方法各项评价指标均优于当前最先进的自监督方法以及部分有监督方法,在视觉效果上有着更清晰的深度边界。 其次,本文提出了基于单目视频序列数据的自监督单目深度估计算法,单目视频序列相比于双目立体图像更易获得也更具有挑战性,在前文的深度估计模型基础上,添加姿态估计模型,设计了尺度一致性损失以及交叉掩膜,用于解决视频序列图像中存在遮挡、动态区域以及估计过程中尺度不一致等问题,进一步提高深度估计的精度。实验结果表明,该算法与基于单目视频的深度估计算法相比,精度有一定提升,并能产生具备尺度一致性的结果。 最后,针对上述两个在不同的数据集类型上得出的算法,对两种算法模型进行不确定性估计,总结了在自监督单目深度估计领域上可以采用的不确定性估计方法,同时设计了能够同时对模型的认知不确定性以及偶然异方差不确定性进行估计的方法。针对不同不确定性估计方法在两种单目深度估计模型上的性能,选择最合适的估计不确定性的方法。实验表明,对模型的不确定性估计可以得到每个像素估计深度时对应的不确定度,同时还将提升深度估计精度。

关键词

深度学习/深度估计/单目深度估计/自监督学习/尺度一致性

引用本文复制引用

授予学位

硕士

学科专业

模式识别与智能系统

导师

周大可

学位年度

2021

学位授予单位

南京航空航天大学

语种

中文

中图分类号

TP
段落导航相关论文