摘要
随着近些年中国现代农业机械化、信息化的发展，农业机械导航技术作为现代精准农业、智慧农业中关键，确保其在农业作业或行驶过程中的安全性，具有关键性的意义。本文针对现代农业机械对障碍物识别的要求，结合各种传感器在障碍物识别中的特性，提出了使用激光雷达和单目视觉相融合的农田障碍物识别方法。针对激光雷达所采集的三维点云数据进行点云预处理、农业地面去除、点云聚类、多目标跟踪等处理，用于检测农田中的所有障碍物的空间和运动状态信息，并以此作为农业机械避障的根本保障；针对单目视觉所采集的RGB图像利用YOLOv3深度学习方法实现对农田场景下障碍物类别的提取，最后通过数据后融合（特征融合）法获得农田障碍物的整体信息。主要研究内容如下： （1）融合方案设计及多传感器联合标定。提出了使用激光雷达和单目视觉的相融合的农田障碍物识别方案，并确定了其相对安装位置。利用张正友标定法对单目视觉的内参矩阵和畸变矩阵进行求解。对于激光雷达和单目视觉间的转移矩阵的求解本文中所使用的为手动标定点云中标定板位置再通过建立与图像中的标定板位置的方程组求解获得。 （2）基于三维点云的农田障碍物检测方法。针对本文所用的RS-Lidar-16多线激光雷达根据其成像特点及实际农业作业场景，提出了使用多滤波融合算法用于原始数据的预处理，去除噪声点和无效点；针对点云中的地面数据使用一种伪射线算法，通过判断伪射线中前后点的角度差从而去除地面点云，数据表示该方法对纯农田地面的去除率可以达到99%以上；利用基于梯度的欧几里德聚类算法对农田障碍物点云进行聚类，数据显示该方法能够有效的提取障碍物的三维空间信息，实验证明该方法对障碍物的识别精度可以达到0.05m；为了能够获得障碍物的运动状态本文引入IMM-UKF多目标跟踪算法，结果显示该方法对于动态障碍物的识别精度可以达到0.6m/s。 （3）基于RGB图像的农田障碍物检测方法。本文采用YOLOv3深度神经网络作为本文中基于RGB图像的农田障碍物检测识别网路，并根据实际需求构建了拥有7112张农业场景数据集。并在COCO数据集的预训练模型的基础上进一步进行训练，实验证明对于农田障碍物的整体识别率可以达到80%以上且处理时间可以达到60ms/帧。 （4）激光雷达和单目视觉的数据后融合。本文使用映射投影的方式实现将三维点云投影到RGB图像上并根据其面积重合率以判断相互间的对应关系。根据其对应关系将RGB图像所识别的农田障碍物类别信息与三维点云识别的农田障碍物的空间和运动状态信息进行数据后融合获取完整的农田障碍物信息。结果证明本方法能够有效对农田障碍物的信息进行提取，反应时长在40ms以内满足现代实际农业机械再作业或行驶期间的障碍物识别要求。
NETL