摘要
在全球范围内，苹果是种植面积与产量仅次于香蕉和柑桔的第三大水果。苹果也是我国最重要的农业作物之一，其种植面积广泛，且总产量处于世界领先地位。但相较于发达国家，中国的苹果产业存在品质较差、产品附加值较低、出口量较小且产品价格较低等问题。其主要原因是由于我国苹果采后处理环节不够完善，产品采摘完成后立即投放市场，而导致市场中产品竞争力不足。因此苹果采摘后的实时分类和表面缺陷检测是必要的。目前，国内外采用计算机视觉技术主要根据苹果的尺寸、形状、颜色等特征来进行自动检测，但由于花萼、果梗和苹果表面缺陷的灰度特征较为相似，因此较容易干扰苹果表面缺陷检测的效果。因此，为解决目前的苹果表面缺陷检测方法对于以划伤为代表的机械损伤检测准确率较低的现状，可将红外图像和可见光图像进行融合，充分利用两种图像数据的互补优势来获取苹果表面更加明显的缺陷特征。由此，本文以烟台红富士为研究对象，研究了红外与可见光图像配准技术、红外与可见光图像融合技术以及卷积神经网络模型在苹果表面缺陷检测中的应用，主要贡献如下： （1）构建了红外与可见光苹果图像表面缺陷数据集。通过对双光图像采集任务进行分析，设计红外与可见光苹果图像采集装置，通过该装置采集双光苹果图像，构建了双光苹果表面缺陷数据集，在考虑图像采集视角的情况下，数据集共分为花萼、花萼+缺陷、果梗、果梗+缺陷、缺陷果和完好果六类。 （2）设计了基于主动轮廓模型的红外与可见光苹果图像配准算法。在该算法首先采用改进的Chan-vese模型，进行红外和可见光图像中苹果部分的主动轮廓曲线提取；其次对曲线上的边缘特征点进行等距离采样，构建了红外和可见光苹果图像的特征点集；最后，通过计算特征点集间的前k个Hausdorff最小距离来线性回归得到最优尺度和水平变换参数，建立红外与可见光苹果图像之间的仿射变换矩阵实现双光图像的自动配准。通过对15对样本进行实验，该算法的配准精确率、均方误差根分别为5.1475、96.5%，在50对样本上进行总体实验时，配准成功率为96%。结果表明，该算法对于红外与可见光苹果图像有着较好的配准效果，可以满足红外与可见光苹果图像融合的需求。 （3）提出基于注意力机制和Boosting的红外与可见光图像融合算法。该算法构建了一种端到端的融合模型架构，提出了一种基于双注意力机制的融合网络和一种基于Boosting模型集成的训练策略。在融合网络的训练中提出一种基于二阶段的训练策略，该策略首先采用合适的损失函数训练双注意力机制融合网络，其次对不同时间节点的融合网络进行Boositing模型集成。通过在TNO公共数据集进行实验，实验结果为EN：6.9837；SD：88.4389；MI：13.9674；Nabf：0.0677；VIF：0.6941；MS-SSIM：0.8707。在红外与可见光苹果图像数据集B上进行实验，实验结果为EN:6.8579；SD：138.4187；MI：13.7158；Nabf：0.1007；VIF：3.2228；MS-SSIM：0.9734。实验结果表明该算法对于红外与可见光苹果图像有着较好的融合效果，可以满足基于红外与可见光图像融合的苹果表面缺陷检测的需求。 （4）基于权重对比迁移和MobileNetV3模型的苹果表面缺陷检测方法研究。本研究首先将在ImageNet数据集上训练得到MobileNetV3模型预训练权重，其次，将MobileNetV3中特征提取部分的各个网络层的预训练权重参数与模型本身默认权重参数进行对比迁移学习，实现了一种自适应的迁移学习方法。最终通过构建基于权重对比迁移学习的MobileNetV3模型在红外与可见光苹果图像融合数据集上实现对于苹果表面缺陷的精准检测。在本研究所建立的红外与可见光苹果表面缺陷数据集上的实验结果表明，相较于单光数据集，融合数据集在准确率、精确率、召回率、F1-score上均有提升，且与其他经典卷积神经网络相比，本研究所构建的模型在准确率、精确率、召回率、F1-score、参数量以及单张图像检测时间花费的评价指标上都有更好的表现。
NETL