摘要
冬枣甘甜酥脆,富含维生素,是秋冬季果品市场中热销水果之一。随着消费者对水果品质的重视,果农为了继续提升冬枣在果品市场中的竞争力,将冬枣分级关键指标增多至四项,分别是果面缺陷、果径、果形指数和果面着色比例。愈加严格的冬枣分级工作暴露了果农分级冬枣低效、易受客观因素影响和人力成本过大的问题。同时也暴露了冬枣分级机易损伤冬枣果皮和分级指标不足的问题。 针对目前冬枣分级存在的问题,本文设计一套基于机器视觉的智能冬枣检测分级系统,将机器视觉引入冬枣分级检测任务中,根据四项冬枣分级指标确定冬枣检测分级算法开发思路,通过深度学习模型建立果面缺陷冬枣检测模型,通过图像处理算法开发果径、果形指数和果面着色比例三项分级指标的提取算法,通过气吸机械臂剔除果面缺陷冬枣,通过人机交互平台实现果农与本系统的智能交互,最终达到智能检测分级冬枣的目的。本文的主要工作: (1)基于机器视觉的智能冬枣检测分级系统设计。首先分析人工分级和冬枣分级机存在低效和分级不合理等痛点,从而确定分级需求,并以此对智能冬枣检测分级系统进行总体方案设计,然后分别对冬枣运载设备、冬枣图像采集设备、果面缺陷冬枣剔除装置以及智能冬枣检测分级平台中的果面缺陷冬枣实时检测算法、冬枣图像分级算法和人机交互平台进行方案设计,最后对系统的软件环境进行选择。 (2)改进SSD的果面缺陷冬枣实时检测模型搭建。本文研究对象是产自陕西大荔的虫蛀、轮纹和木质化三种果面缺陷冬枣和果面正常冬枣。首先为了实现果面缺陷冬枣实时检测,本文选择SSD作为检测模型,并更换SSD主干网络为计算量更小的MobilenetV3,就此建立MobileNetV3-SSD模型,为实时检测奠定基础;其次分析缺陷与果面的面积之比,发现三种缺陷尺寸不同,故引入RFB以实现模型多尺寸提取冬枣缺陷特征的能力,并改进RFB的卷积结构以降低引入该模块对模型实时性的影响;最后分析缺陷分布规律,发现三种缺陷位置随机,故用CBAM中的空间注意力模块(SAM)代替挤压激励块(SE)以增强模型定位冬枣缺陷特征的能力。 (3)冬枣图像分级算法研发。首先根据果径、果形指数和果面着色比例三项分级指标提取顺序对该算法进行总体流程设计。然后设计三项分级指标提取算法:通过ROI实现冬枣果面图像提取;通过加权平均灰度化和冬枣果面图像分割算法提取冬枣轮廓;通过最小外接圆提取冬枣果径特征;通过冬枣轮廓的面积与周长比提取冬枣果形指数;通过分析冬枣果面赭红色在HSV的H通道下对应像素值范围,从而提取冬枣果面着色比例;通过判断树设计冬枣果面图像分级算法,实现冬枣图像分级。最后开发果面缺陷冬枣中心坐标计算与转换算法,以便气吸机械臂根据世界坐标完成果面缺陷冬枣剔除工作。 (4)基于双气吸机械臂协同的果面缺陷冬枣剔除算法开发。首先设计果面缺陷冬枣实时中心坐标更新算法以便为后续的剔除算法提供缺陷果的坐标信息。其次利用D-H法完成气吸机械臂建模,并求解其正逆运动学,然后根据分配的剔除区域完成协同剔除算法,最后通过五次多项式完成剔除缺陷果的路径规划算法。 (5)平台交互界面设计与智能冬枣检测分级系统测试。首先通过PyQt5设计平台交互界面:创建果面缺陷冬枣实时检测子界面供果农随时监测当前批次中各个冬枣的果面缺陷情况;创建冬枣品质数据库查询子界面,供果农查询各批次中冬枣分级结果。最后依次对果面缺陷冬枣实时检测模型、冬枣图像分级算法和果面缺陷冬枣剔除算法进行性能测试。 测试结果表明,改进SSD的果面缺陷冬枣实时检测模型,均值平均精度(Meanaverageprecision,mAP)达到91.89%,检测速度达到40.85FPS。同时冬枣图像分级算法和双气吸机械臂协同剔除果面缺陷冬枣准确率分别为97.11%和98.00%。