首页|基于深度学习的SLAM视觉里程计与回环检测研究

基于深度学习的SLAM视觉里程计与回环检测研究

蒋经纬

基于深度学习的SLAM视觉里程计与回环检测研究

蒋经纬1
扫码查看

作者信息

  • 1. 天津理工大学
  • 折叠

摘要

近些年来随着计算机视觉和人工智能技术快速的发展,深度学习受到越来越多的关注。而视觉SLAM技术一直是移动机器人技术的核心之一,但传统的视觉SLAM系统存在光敏性差、环境要求高、无法处理动态物体、实时性要求高等问题。基于此,将深度学习和视觉SLAM主要部分相结合,进行了如下研究。 1、采用解耦相机位姿的无监督视觉里程计 针对传统SLAM系统光敏性差和环境要求高的问题,将卷积神经网络和SLAM前端视觉里程计相结合,设计了采用解耦相机位姿的无监督视觉里程计。首先,在基于PWCNet网络结构的基础上设计了深度估计网络,得到深度信息。然后设计了一种无监督相机位姿解耦估计网络,对相机位姿进行解耦,分别设计平移估计网络(T-Net)和旋转估计网络(R-Net)估计旋转和平移矩阵。最后结合上述网络,得到采用解耦相机位姿的无监督视觉里程计,在KITTI数据集上分别和传统方法、有监督方法和无监督方法进行比较,在大多序列中位姿估计的结果更加精准,具有较强的竞争性。 2、基于复合掩码生成对抗器的无监督视觉里程计 针对主流视觉里程计没有考虑动态物体对位姿估计的影响,在复杂的动态环境中准确性仍然有限的问题,提出了一种基于复合掩码的生成对抗网络用于估计相机的运动和双目深度图。具体来说,通过构建感知生成器,可以从两个相邻帧之间获得相应的视差图和光流图。然后,提出了一种迭代姿态改进策略,以提高姿态估计的准确性。最后,在判别器中嵌入一个基于视差图和光流图的复合掩码,以感知合成虚拟图像中的结构变形,从而增加网络模型的整体结构约束,提高摄像机姿态估计的准确性,并减少视觉里程表的漂移问题。在KITTI数据集上进行的详细定量和定性评估表明,所提出的框架优于现有的传统、有监督学习和无监督深度VO方法,在姿态估计和深度估计方面都能提供更好的结果。 3、基于轻量级CNN的快速回环检测算法 针对现有基于卷积神经网络的视觉SLAM回环检测算法特征提取时间较长和特征向量维度过高导致计算量较大等问题,将轻量级卷积神经网络MobileNetV3和PCA降维算法相结合,提出一种基于深度学习的快速回环检测算法。首先,基于MobileNetV3进行特征提取并构建特征矩阵,接着运用PCA降维算法完成降维以提升运行速度,然后,使用余弦相似度计算各个特征向量间的相似性,并取最大值与给定阈值比较判断是否构成回环。最后,使用NewCollege和CityCentre两个公开的数据集验证算法的性能。实验结果表明,相较于现有的CNN回环检测方法,提出的算法在保证准确率和召回率的同时,运行速度更快,较好的满足了视觉SLAM系统准确性和实时性的要求。

关键词

视觉SLAM/深度学习/生成对抗网络/复合掩码/轻量级卷积神经网络/回环检测

引用本文复制引用

授予学位

硕士

学科专业

控制学与工程

导师

吉月辉

学位年度

2024

学位授予单位

天津理工大学

语种

中文

中图分类号

TP
段落导航相关论文