摘要
叶片图像模式分析是计算机视觉的一个重要的应用研究问题，在植物分类、作物表型、环境生态等研究领域扮演者重要的角色。由于植物种类（species）繁多，新的植物种类不断被发现，许多不同种类的的叶片视觉模式的高度相似性和同种类叶片的自然变形的问题使得叶片图像模式的识别问题仍然具有非常大的挑战性。特别是近些年来，随着作物栽培技术的飞速发展，对同一种作物下的细粒度的品种（cultivar）识别，这一个更具挑战性的模式识别问题，需要高性能的识别算法，以满足精准农业的实际应用需求。为解决叶片图像的粗粒度的种类识别和细粒度的品种识别问题，本文聚焦于基于深度学习和特征融合的叶片图像分析方法研究。 图像的手工特征能描述图像底层的视觉信息、不依赖于训练数据、且具有可解释性，而深度特征虽然依赖于训练数据，可解释性差，但能有效获取图像抽象语义特征信息，能端对端的完成图像分类任务。鉴于手工特征与深度特征的强的互补性，近年来，融合这两类特征的研究工作受到研究者们的关注，但所提出的融合方法大多存在模型参数多、无法端对端、泛化能力差等缺点。本文提出了一种通过知识蒸馏方式融入手工特征信息的深度网络：HDFF，来解决叶片图像的粗粒度识别问题。该网络既充分发挥手工特征对深度特征的互补性，又在模型部署时只保留独立的深度网络结构，能完成端对端的预测任务，不需要携带和执行手工特征提取器，从而节省了参数，提升了预测速度。HDFF模型由有深度特征分类网络和手工特征分类网络两个部分组成，在深度网络与类标信息训练的前向过程中，将深度网络的特征拷贝，动态嵌入到手工特征网络中（该过程相当于知识从深度网络流向手工网络），让融合后的特征训练分类器，再将其预测概率向量以知识蒸馏的方式与深度网络预测概率形成动态相互学习过程（该过程相当于知识在两个网络的双向流动）。本文选用了ResNet50和DenseNet121作为深度骨干网络，将叶片形状方法HoGCV、叶片纹理方法PRICoLBP的特征作为手工特征方法。HDFF模型在Leaf220和MEW2012数据集上分别取得了96.3%和83.2%的准确率，比未融合之前基线模型分别提高了2.4%和2.0%，证明了手工特征和深度特征存在互补性，HDFF融合方法可以提升叶片识别的准确率，也为今后手工特征和深度特征的融合研究工作，拓展了一个新的思路。 针对细粒度识别任务，用植株的单个部位的叶片进行识别，很难获得满意的识别效果，本文发展了现有的融合植株上、中、下三个部位的叶片特征，以提升品种识别准确率的方法，提出了一种基于对比学习的三联体图像的深度特征融合网络：CLFF。对植物叶片进行细粒度的品种识别由于类间差异小带来分类难度极大，加之数据的标注成本带来的训练样本较少的问题，使得该任务极具挑战性。本文提出由大豆植株的上、中、下三个部位叶片组成的三联体叶片图像的深度学习特征联合训练，计算三联体图像的共信息特征，再和各子图的差异化特征进行正交融合，并使用对比学习方法，使得网络在优化过程中，避免陷入局部最优解，从增强了模型的泛化能力。CLFF模型不仅在大豆品种识别数据库SoyCultivar200上取得了远高于现有方法的92.6%的准确率，还缓解了由于数据集过少可能带来的过拟合问题，再次验证了多部位叶片互补性信息用于细粒度品种识别的有效性。CLFF模型相较于先前的多部位特征融合方法，第一、取得了更好的分类表现，第二、模型具有端对端的优势，第三、拥有更好的鲁棒性和泛化能力。
NETL