首页|基于立体视觉及组合导航信息融合的四足机器人领航员跟随方法研究

基于立体视觉及组合导航信息融合的四足机器人领航员跟随方法研究

杨彤

基于立体视觉及组合导航信息融合的四足机器人领航员跟随方法研究

杨彤1
扫码查看

作者信息

  • 1. 山东大学
  • 折叠

摘要

相比于轮式或履带式机器人,四足机器人的腿足式运动方式更适用于室外复杂崎岖的地形,其良好的环境适应性及运动灵活性更是深受广大研究者的关注,提高其在室外复杂环境下的环境感知能力及运动自主性也成为了当前重要的研究方向。室外环境下的领航员前方引导、机器人自主跟随策略是提高四足机器人环境感知与自主运动能力的有效方法,这既可以解除遥控器给控制人员带来的操作负担,又有助于开展机器人的自主避障、地图构建、路径规划等研究。液压驱动式四足机器人的高频振动、室外地形结构的不均匀性及单一传感器环境信息获取的局限性等也给长时间的室外领航员自主跟随任务带来了巨大的挑战。 为解决这一问题,本文设计了一个基于立体视觉与组合导航信息融合的可视化四足机器人领航跟随系统,并基于山东大学机器人研究中心的SCalf四足机器人平台进行了室外跟随实验验证,具体做了以下的研究工作: (1)搭建了基于RealSense深度相机+数字舵机+GPU嵌入式工控机+组合导航的四足机器人领航跟随系统硬件平台,设计了基于ROS通信的系统控制软件架构,提出了一种结合了基于深度学习的行人检测算法与基于改进的尺度特征自适应核相关滤波跟踪算法的领航跟随方案。 (2)构建了一个D-T-R-F(Detection-Tracking-Reidentification-Fusion)领航员定位框架,框架由行人检测模块、视觉跟踪模块、行人重识别模块及多传感器信息融合模块组成。行人检测模块用于识别环境中的所有行人并完成领航员的初始定位,视觉跟踪模块负责输出图像连续帧之间领航员的位置和比例,行人重识别模块用于在多个干扰行人之间重新定位领航员,多传感器信息融合模块完成立体视觉与组合导航系统的数据融合。 (3)基于单个深层神经网络(Single Shot MultiBox Detector,SSD)目标检测框架设计了一个无预训练行人检测框架,直接基于训练样本训练的检测模型大幅度缩减了网络参数数量,在保证检测准确性的基础上提高检测速度。使用了一个基于大规模行人重识别数据集训练的网络来提取行人特征,将单帧图像的内容特征和图像帧与帧之间的运动特征进行融合来加强对领航员外貌的抽象表达以在多个干扰行人之间提高对领航员的重识别准确度。针对运动目标的形状、姿态变化,光照强度变化,行人与背景颜色相近,部分或全部遮挡等问题,基于核相关滤波跟踪算法(Kernelized Correlation Filter,KCF)做多特征融合和多尺度估计的改进,提高了室外环境下的目标跟踪准确性及实时性。

关键词

四足机器人/环境感知/领航员跟随/立体视觉/组合导航/信息融合

引用本文复制引用

授予学位

硕士

学科专业

控制工程

导师

李贻斌

学位年度

2020

学位授予单位

山东大学

语种

中文

中图分类号

TP
段落导航相关论文