首页|基于深度学习的移动机器人语义SLAM方法研究

基于深度学习的移动机器人语义SLAM方法研究

扫码查看
原文链接
  • 万方数据
  • 维普
为了给移动机器人提供细节丰富的三维语义地图,支撑机器人的精准定位,本文提出一种结合RGB-D信息与深度学习结果的机器人语义同步定位与建图方法.改进了ORB-SLAM2 算法的框架,提出一种可以构建稠密点云地图的视觉同步定位与建图系统;将深度学习的目标检测算法YOLO v5 与视觉同步定位与建图系统融合,反映射为三维点云语义标签,结合点云分割完成数据关联和物体模型更新,并用八叉树的地图形式存储地图信息;基于移动机器人平台,在实验室环境下开展移动机器人三维语义同步定位与建图实验,实验结果验证了本文语义同步定位与建图算法的语义信息映射、点云分割与语义信息匹配以及三维语义地图构建的有效性.
Research on a semantic SLAM method of a mobile robot based on deep learning
In this study,to provide a detailed three-dimensional(3D)semantic map for mobile robots and support precise positioning,a semantic simultaneous localization and mapping(SLAM)method of a robot is put forward based on RGB-Depth(RGB-D)information and deep learning results.First,the ORB-SLAM2 algorithm framework is improved,and a visual SLAM system is presented to build the dense point cloud map.Afterward,the deep learning target detection algorithm YOLO v5 is merged with a visual SLAM system,which inversely maps 3D point cloud semantic labels.The data association and object model update are completed in combination with point cloud segmentation.The map information is stored in the form of an octree map.A 3D semantic SLAM experiment is con-ducted based on the mobile robot platform in the lab environment.The experimental results confirm the effective-ness of semantic information mapping,point cloud segmentation with semantic matching,and 3D semantic map construction of the proposed semantic SLAM algorithm.

mobile robotdeep learningvisual simultaneous localization and mapping(SLAM)object recogni-tionpoint cloud segmentationdata associationoctreesemantic map

王立鹏、张佳鹏、张智、王学武、齐尧

展开 >

哈尔滨工程大学 智能科学与工程学院,黑龙江 哈尔滨 150001

移动机器人 深度学习 视觉同步定位与建图 目标识别 点云分割 数据关联 八叉树 语义地图

国家自然科学基金项目黑龙江省教育科学规划2023年度重点课题中央高校基本科研业务费专项资金项目

62173103GJB14230593072022JC0402

2024

10.11990/jheu.202205031

哈尔滨工程大学学报
哈尔滨工程大学

哈尔滨工程大学学报

CSTPCD北大核心
影响因子：0.655
ISSN：1006-7043
年,卷(期)：2024.45(2)
  • 28