摘要
在草莓种植与收获过程中，草莓果实的成熟度检测是一个关键的环节，其成熟度对于决定收获时间、保证品质和提高市场价值具有重要意义。自动化草莓成熟度检测能降低人工需求，然而，目前草莓成熟度自动检测存在一些挑战：首先，没有公开的多源的草莓数据集；其次，草莓的果实之间、叶片与果实相互遮挡以及光照等问题对草莓的检测造成影响。为了实现复杂环境下草莓果实小目标的高效检测，本文利用深度学习技术对草莓果实进行成熟度检测。通过对草莓图像进行分析和处理，可以准确判断其成熟度，从而为后续的智能采摘提供参考。本文的主要研究工作如下： （1）草莓数据集的构建。为了实现草莓的果实检测任务，本文构建了由相机和手机拍摄的真实环境下的草莓以及从公共数据集下载的图像，共3665张图像，形成数据集1；针对智能采摘机器人的视觉系统需求，本文又构建了一个由Microsoft Kinect v2图像采集设备拍摄而成的RGB-D-IR草莓多源图像，经过筛选后得到802组多源数据集，共2406张图像，形成数据集2。将两个数据集中的彩色图像使用LabelImg标注软件对草莓果实按照成熟、半成熟和未成熟进行标注，标注格式为VOC格式并生成对应的XML格式文件。 （2）基于深度学习的草莓果实成熟度检测研究。通过对比YOLO系列不同网络对拍摄的数据集1进行检测，选择最优的YOLOv7模型进行优化改进：首先，通过加入PConv卷积代替Conv卷积，使模型在精确率变化不大的情况下，参数量大约下降了2M，便于实际场景的部署。其次，对比加入多个注意力机制的模型效果，选择添加综合效果最好的CBAM注意力机制。最后加入CARAFE后，提高模型对草莓细节的感知，并探究了迁移学习的方法对草莓数据集的影响。改进的YOLOv7模型mAP50提高了2.1%，GFLOPS从26.0下降为19.8，有效解决了果实遮挡等问题。 （3）基于多源图像的草莓果实成熟度的检测研究。对多个YOLO网络进行训练，选择在数据集2上彩色图像表现综合效果最优的模型YOLOv5s进行改进，通过实验添加多个注意力机制进行对比，最终选择注意力机制SimAM。其次利用不同模式下的信息提升草莓果实成熟度的检测效果，用通道融合的方式对深度图和红外图进行融合，对比不同融合系数的草莓果实成熟度检测效果，选择最优的融合系数对草莓果实的成熟度进行检测。经过多源图像融合后模型检测相较于未融合的YOLOv5s的mAP50提升了4.1%，可以证明多源图像融合实现了复杂背景下草莓的精确识别与检测，并为多源图像的果实检测研究提供参考。
NETL