摘要
果树种植是我国农业生产结构的重要组成部分，植保无人机在果园中的应用已卓有成效。但果园环境复杂，与电线等障碍物碰撞是植保无人机发生事故的主要原因，因此，作业障碍物的识别检测对实现植保无人机果园安全作业具有重要研究意义。近年来，障碍物识别传感器的研究主要集中于视觉与非视觉传感器的融合系统或提高非视觉传感器的分辨率及响应速度等方向，忽略了对视觉传感器的研发改造。因此，本文针对果园作业环境复杂，障碍物类型多变的特点，以识别非结构化柑橘果园中的高危作业障碍物电线杆及无特征规律的行人为主，基于视觉识别检测平台搭建、轻量级障碍物检测模型部署、综合可视化窗口的创建、障碍物综合信息提取以及作业安全性判断等需求，研发了一套基于多目视觉的植保无人机果园作业障碍物识别系统。旨在提高植保无人机果园作业安全性，推进果园机械化进程。具体研究内容如下： （1）根据果园作业对障碍物的识别需求，设计并搭建了可切换基线的多目视觉模块，采用三组不同的基线（55 mm、105 mm 和 160 mm）实现短、中、长距障碍物的识别。根据精度测试结果，对各基线的实际测距范围及职能进行划分。基线 0 （默认基线）的实测范围为1-14 m，其中1-5 m是躲避执行区内的短距障碍物，5-14 m是识别预警区内的中长距障碍物，基线1的实测范围为14-27 m，主要对安全区的长距障碍物进行预警，基线2的实测范围为0.35-5 m，可辅助植保无人机安全降落及悬停。 （2）对比 8 种小型单阶段目标检测原始模型，提出了一种基于 YOLOv5s 的轻量级检测模型 YOLOv5s-PP。在保留原始模型性能的基础上，YOLOv5s-PP模型内存由原始版本的13.85 M压缩为8.08 M，层数增加了16.25%，参数总量减少了42.95%，计算量减少了55.49%。对果园中的电线杆及行人识别检测时，精确率P为88.13%，召回率 R为 78.44%，调和均值 F1为 83.01%，平均精度均值 mAP为 86.77%。服务器端单张图像检测平均耗时为0.070 s，视频流检测平均帧率为29.40 FPS。在多目视觉模块中部署时，未加速前单张图像检测平均耗时为 0.090 s，视频流检测平均帧率为 11.76 FPS；经 TensorRT 7.1.3 在 FP16 模式加速后，单张图像检测平均耗时为0.043 s，视频流检测平均帧率为27.03 FPS。 （3）基于查看图像和信息提取的需求，改进生成了一款融合彩色图的深度图像查看器。根据深度值大小，采用 COLORMAP_ RAINBOW方式对深度图进行伪彩映射，并对图中障碍物空洞区域及线型非连续电线轮廓进行填充。通过 addWeighted()函数实现彩色图与伪彩图的线性融合，并增加反映彩色和距离映射关系的刻度尺。采用同态滤波算法对图像暗处细节进行增强，当频域滤波器的低频增益 γL 取 0.5，高频增益γH取5，锐化系数C取3，截止频率D0取9时，暗处细节增强效果明显。使用了鼠标响应函数 setMouseCallback()设置相关响应事件标志。对比原始查看器，新生成的深度图像查看器可同时显示实时处理得到的线性融合图像画面、距离映射刻度尺及两处感兴趣区域的深度信息等三部分内容。经过图片测试及室内外效果测试，结果表明该融合彩色图的深度图像查看器适配于多目视觉模块的应用场景。 （4）通过软硬件结合，形成一套基于多目视觉的植保无人机果园作业障碍物识别系统。在融合图像中实现综合显示特定作业障碍物的彩色预测框、类型标签、置信度及方框区域平均深度值的功能。经测试，多目视觉模块端的视频流检测平均耗时为235.413 ms，平均帧率为4.25 FPS，服务器端视频流检测平均耗时为138.901 ms，平均帧率为 7.20 FPS。建立多目视觉模块基线切换的触发机制，并测试基线切换生效的时延。经测试，基线切换 30次的平均时延为 9.803 ms，基线切换生效的最大时延为109.803 ms，当植保无人机以4 m/s速度飞行时，前向最大移动距离为0.439 m。基于飞行路径和可通过区域进行作业安全性的判断，并进行果园验证试验，对果园作业障碍物识别系统的信息提取性能与作业安全性判断进行测试。
NETL