摘要
水果是农产品的一大类。目前水果的采摘仍然以人工为主，人工采摘耗时耗力，效率低下。采摘机器人的视觉系统是其获取目标果实信息的关键，对完成采摘动作起着关键性作用。本文以柑橘为研究对象，研究了自然环境下成熟柑橘的识别与定位，以提高柑橘采摘机器人采摘作业的实时性与鲁棒性。本文主要研究内容与结论如下： （1）构建了成熟柑橘样本数据集。使用相机与手机两种设备分三次在果园实地拍摄不同时段、不同光照角度下的成熟柑橘图像。通过多种图像处理技术对所拍摄的柑橘图片数量进行扩增，并且针对柑橘识别存在的重叠、遮挡难题，从采集到的图片中挑选具有代表性的样本制作出轻度遮挡和重度遮挡测试集。人工标注图片中的柑橘目标，从而构建本文研究所需的柑橘样本数据集。 （2）柑橘果实识别模型的构建与研究。针对模型在自然环境下识别柑橘目标时存在的识别精度低且速度较慢的问题，本文以 YOLOv7 模型为基础，提出了 LT-YOLOv7模型。首先使用轻量级特征提取网络 RepVGG作为骨干网络以加强复杂背景下柑橘特征提取能力；其次，在颈部网络中引入深度可分离卷积，有效降低网络参数量；接着，采用通道注意力机制ECA（Efficient Channel Attention）增强主干网络获取的重要多尺度特征权重，从而最大化地提高检测模型的性能；最后，应用 soft DIoU_NMS（soft DIoU Non-Maximum Suppression）算法优化预测框的筛选，进一步提高重叠果实的识别能力。 （3）柑橘果实目标定位研究。研究了双目视觉系统的基本理论和相机参数标定方法，搭建了柑橘目标的双目立体视觉系统。采用张正友标定法对所选ZED双目相机进行标定，通过Matlab软件完成相机的标定实验，从而得到ZED相机内外参数及相关矩阵并分析标定结果误差。为实现柑橘果实的三维空间定位，提出基于双目立体视觉的柑橘果实空间定位方法。通过 SGBM（Semi-Global Block Matching）立体匹配算法提取特征，匹配左右目拍摄所获得的目标图像对应像素点，推导出数学公式以计算视差值，并通过公式演算出柑橘果实的深度值。 （4）对柑橘果实的识别方法与定位方法分别进行了实验验证。就柑橘目标的识别而言，对比 Faster R-CNN 和 YOLO 系列模型，验证了本文所提出的 LT-YOLOv7 轻量级网络模型识别效果最优，其 AP（Average Precision, AP）值为 98.14%，F1 值为0.94，在GPU上对柑橘目标识别速度可达208帧/s，对于单张大小为640×640的图片推理速度达到 4.8 ms，模型所占内存仅 32 MB。基于双目立体视觉技术对柑橘目标中心点进行定位实验，采用控制变量法总共进行11次实验并记录相应实验结果。通过与激光测距仪实测数据进行比较，本文在正常光下、顺光下及背光情况下对于深度Z方向上的误差分别为-6~7 mm、-7~7 mm 和-6~7 mm，相对误差都在 1.3%以内。综上可知，本文所用的定位方法满足采摘机器人的采摘要求。
NETL