摘要
奶牛健康与其运动行为息息相关。监测奶牛的行走、站立、躺卧等基本运动行为对奶牛的疾病预防、治疗和提高奶牛场生产效益具有重要意义。针对目前现存的奶牛基本运动行为识别算法大多研究特定行为且未考虑到时间维度信息，存在较大的判断误差，且借助环境中的参考物进行识别，抗干扰性较差的问题，本研究以深度学习和计算机视觉为基础，开展了基于视频智能分析的非接触式奶牛骨架提取和基本运动行为识别方法研究，为非结构化奶牛养殖环境下奶牛的健康监测提供新方法。本文的主要研究内容及结论如下： (1)提出了一种基于部分亲和场的多目标奶牛骨架提取网络。将用于提取图像特征的前馈网络修改为改进后的VGG-19，使用多阶段二分支网络获取奶牛的热点图和部分亲和场，进而提取奶牛骨架。通过引入特征融合方法，可同时提取奶牛图像的浅层细节和深层语义特征，进一步提高了奶牛骨架提取的准确率。试验结果表明，本研究方法单目标奶牛整体置信度为78.90%。双目标奶牛整体置信度为67.94%，且对光照变化、奶牛尺度变化均具有较好的鲁棒性。 (2)在分析多分辨率网络特点及优势的基础上，提出了基于级联金字塔网络的奶牛骨架提取方法。为客观描述模型，介绍了衡量模型预测能力的评价指标，并与级联金字塔网络的提取结果进行了对比。试验结果表明，高分辨深度卷积网络模型(High-ResolutionNet,HRNet)训练后的最优模型在测试集上准确率为86.90%，mAP值为0.637，mAR值为0.678。而级联金字塔网络(CascadedPyramidNetwork,CPN)模型在相同测试集上准确率为63.00%，mAP值为0.519，mAR值为0.593。结果表明，使用HRNet提取奶牛骨架可为后续奶牛基本运动行为识别提供数据基础。 (3)提出了一种基于奶牛图像、光流和骨架的多特征奶牛基本运动行为识别方法。针对现有2D基本运动行为识别无法有效利用时间维度信息，且过度依赖环境概貌特征，抗干扰性弱的问题，结合奶牛骨架、RGB图像和全局光流构建多特征分支预测网络，网络根据不同特征分为三分支，分支一、三使用卷积神经网络(ConvolutionalNeuralNetworks,CNN)网络分别提取RGB图像特征和全局光流特征并进行预测，分支二使用时空图卷积网络(SpatialTemporalGraphConvolutionalNetworks,ST-GCN)网络提取骨架特征并预测，调整权重并进行分数融合完成奶牛基本运行行为识别。试验结果表明，模型的分类ACC为94.00%，该研究可为奶牛基本运动行为识别提供新思路。 (4)提出了一种基于奶牛骨架和混合卷积的奶牛基本运动行为识别方法。针对现有3D基本运动行为识别方法参数量过大，网络深度不足，且仅使用RGB图像进行识别时网络抗干扰性较弱这一问题，通过在每个3D卷积之后串联一个深度2D卷积来增加3D卷积神经网络的深度，在串联的基础上再添加并联2D卷积，利用3D和2D特征图之间的相关性，让3D和2D卷积共享空间信息。同时，在并联的2D卷积特征中以热点图的形式添加该帧对应的奶牛骨架关键点信息。在提高3D卷积网络深度的同时，有效控制了模型参数量和鲁棒性。试验结果表明，本研究方法识别准确率为91.80%。相比改进前的混合卷积网络，精度提高了3.40%。该方法对奶牛的行走、站立、躺卧的分类是有效的。
NETL