首页|基于深度学习和双目视觉的番茄自动采摘方法研究

基于深度学习和双目视觉的番茄自动采摘方法研究

朱槐雨

基于深度学习和双目视觉的番茄自动采摘方法研究

朱槐雨1
扫码查看

作者信息

  • 1. 电子科技大学
  • 折叠

摘要

番茄采摘是番茄加工的必要工序,番茄的采摘质量将直接影响番茄后续的加工过程,番茄的产出量大,成熟番茄采摘窗口期较短,需要集中快速地对番茄进行采摘。目前番茄采摘工作主要依靠人工完成,但是番茄采摘具有季节性,采摘工作大量消耗人力资源,并且人工采摘具有主观性,不利于产品的品质控制。对于自动化采摘而言,番茄生长在茂密的枝叶中,并且番茄在自身生长周期中外观呈现出不同的大小、颜色和形状,因此要在具有复杂背景的场景下快速准确地识别和定位成熟番茄目标非常困难。传统的机器视觉算法受光照、遮挡物和背景影响较大,鲁棒性较差,不能满足实际的番茄采摘生产要求。在深度学习中,番茄目标属于较小的目标,图像特征不明显,现有的深度学习模型易出现漏识别的情况,因此针对番茄采摘过程中的问题,开展了基于深度学习的成熟番茄果实识别方法研究,并进一步对识别到的成熟番茄展开空间定位方法的研究。 本文分析了SSD模型构架,新增了较浅的Conv3_3特征层;引入了特征金字塔特征融合以及连续特征层上采样结构;同时改变了先验框大小,使其更为匹配实际目标的尺寸。经过结构改进后的SSD模型,在降低一定检测速度的情况下,其检测精度提升了22.1%,显著提高了原有模型对番茄的检测率。在模型结构改进的基础上,将模型的矩形先验框替换为圆形先验框,改进了交并比和损失函数计算方法,改进后模型的检测精度进一步提升了1.1%,番茄中心图像坐标的位置准确率提升了21.9%,改进后的模型对番茄边缘有着更好的回归效果,为番茄的空间定位提供了更精确的图像坐标。 本文基于双目视觉对双目相机进行了双目标定、立体匹配和RGB图像与深度图配准的实验。在RGB-D图像的基础上,提出一种利用增广矩阵求解空间坐标系转换关系的方法,实验表明:该方法在番茄空间定位中,最大绝对误差为9.775mm,最大相对误差为1.298%。建立番茄自动采摘集成系统,整合番茄目标检测系统与番茄目标定位系统,番茄目标检测系统的番茄图像坐标通过本地文件传递给番茄目标定位系统,调试系统,完成测试。

关键词

番茄检测/深度学习/SSD模型/先验框/双目视觉

引用本文复制引用

授予学位

硕士

学科专业

机械工程

导师

顾晓勤/李博/黄智

学位年度

2022

学位授予单位

电子科技大学

语种

中文

中图分类号

TP
段落导航相关论文