摘要
东北虎是我国一级保护动物，其母性行为对于提高幼虎的存活率、保证物种的延续和发展以及维持种群稳定性具有重要作用。同时，东北虎幼崽的行为模式也有利于理解成年东北虎的行为习惯。因此，有效识别母幼虎间的互作行为和个体行为对其繁育的相关研究具有重要意义。随着计算机视觉技术和深度学习的发展，利用视觉特征识别动物行为已经成为一种重要手段。本文提出了一种基于深度学习的东北虎母幼互作行为检测方法，该方法先对视频帧序列中东北虎个体进行空间定位，然后再对定位到的东北虎进行多标签行为识别，从而实现舔崽、玩耍、行走等东北虎母幼互作行为和独立行为的检测与识别。本文具体研究内容与结论如下： （1）针对圈养情况下母幼东北虎体型存在较大差异以及幼虎间相互遮挡的问题，本文使用了基于多尺度特征融合的东北虎目标检测网络，以CascadeR-CNN为目标检测框架，使用SwinTransformer作为骨干网络进行特征提取。实验结果表明，该目标检测网络的平均精度均值达到了97.2%，为下一步行为检测研究奠定了基础。 （2）针对母幼东北虎互作时双方行为特征关联性低的问题，提出了基于非局部SlowFast的东北虎母幼互作行为检测网络。该网络在实现行为检测时，分为两步，第一步利用CascadeR-CNN目标检测网络对处于视频帧序列内关键帧中的东北虎进行空间位置定位；第二步利用非局部特征提取的SlowFast网络，对视频帧序列进行时空特征的提取，并利用关键帧中的空间位置信息，提取时空特征中个体的行为信息，然后对个体行为信息进行多标签行为分类。在非局部特征提取的SlowFast网络中引入了SENet、Non-local、TPN三种模块，增强了视频帧序列中非局部特征之间的联系，实验结果表明，加入了三类模块的行为检测网络在母幼东北虎9种行为上的平均精度均值达到了63.2%，与改进前相比，平均精度均值提升了4.9%。 （3）针对母幼东北虎互作行为检测网络运行效率低的问题，提出了一种基于XRNet-large的端到端的行为检测网络。该行为检测网络以CascadeR-CNN为框架，使用XRNet-large作为行为检测网络的骨干网络进行特征提取。将视频帧序列输入网络后，经过XRNet-large后的输出分为两部分：帧序列中用于母幼东北虎空间定位的表观特征，以及整体序列的时空特征。该行为检测网络先利用母幼东北虎的定位模块生成目标的空间位置信息，然后利用位置信息提取时空特征中目标个体的行为特征信息，并对行为特征信息进行多标签行为分类。实验结果表明，基于XRNet-large的端到端的行为检测网络平均精度均值达到了54.55%，与端到端的行为检测网络SE-STAD网络相比，两种方法的检测精度相近，但本文方法的网络计算量比SE-STAD网络减少了65%。
NETL