摘要
视觉是人们感知世界的重要通道，而随着世界人口的增加，全盲或具有视觉障碍的人口数量也在随之增长。视力的缺失不仅从心灵上给他们带来了伤害，更给他们的生活带来了极大不便，特别是在户外出行活动。随着科技的进步和社会的发展，他们也正受到来自各方面的关注，特别是在盲人户外出行导航及避障方面。目前，已有许多导盲设备及避障系统相继被研发，其中多数设备的主要原理就是采用超声波、红外传感器、激光雷达等对障碍物的距离进行探测，并通过震动或蜂鸣等提示盲人障碍物的距离。近些年，随着人工智能第三次热潮的兴起，机器视觉成了主流的研究热点，其应用非常广泛。而在导盲方面的应用，机器视觉主用来识别盲人所处的场景、对障碍物的识别与检测、人脸识别及文字标识的检测等，相较于传统的导盲方法，利用机器视觉技术能给盲人的出行及日常生活带来更大便利。针对利用机器视觉研制的导盲系统中对障碍目标的识别、检测与跟踪问题，本文提出了基于深度学习的户外盲道障碍目标检测与跟踪方法，为导盲系统的研制及盲人导航提供了新的检测模型和方法。本文主要工作和取得成果如下： 首先，对盲人出行空间信息需求进行分析，并通过查找相关文献和实际调查将盲道周围常见的障碍要素归为15类，在此基础上进一步建立障碍目标数据集和实例分割数据集并将其分为训练集、测试集和验证集，对数据集的各项指标进行分析。 然后，针对建立的障碍数据集，利用YOLO、SSD、FasterR-CNN等系列算法训练障碍物检测模型并针对障碍数据集进行优化改进。在使用YOLOv3算法训练数据时，针对障碍物数据集的特点选用K-means聚类方法生成anchor，提升了模型的平均检测精度。在使用SSD算法训练数据时，为提升其中多尺寸目标检测的精度，通过增加Conv3_3层和修改先验框的生成比例改进SSD算法，改进后的算法对多尺度目标检测的精度提升较为明显。针对盲道及斑马线的检测与识别，采用MaskR-CNN实例分割的方法建立数据集，使用FPN+ResNet101和FPN+ResNet50训练数据集得到盲道与斑马线实例分割检测模型，该模型能够以较高的精度检测出图像中的盲道和斑马线。 最后，结合训练的YOLOv3-Kmeans和YOLOv4障碍检测模型，利用OpenCV中深度学习模块对这两种框架下的模型进行解析并建立了目标跟踪模型。在这两种框架下分别输入视频流进行检测与跟踪，通过实验得出，利用目标检测模型对目标进行跟踪能够取得良好的效果。分析两种模型对视频连续帧的跟踪效果得出基于YOLOv3-Kmeans的模型跟踪效果较好，漏检较少。
NETL