摘要
近年来随着科技的发展，监控摄像头的应用越来越广泛。各行各业都涌现了海量的监控视频数据。目前，在教育领域中，由于摄像头在考场中的广泛应用,像中考、高考等大型考试中采用的都是监考老师辅助摄像头的方式来保证考试的公平公正。当面对大量的考场监控视频数据时，单依靠人工去对考场监控视频进行识别是不现实的，会耗费大量的人力物力且效率不高。因此，为了节约人工成本，实现更高效的监控，视频异常行为检测技术应运而生。本文通过收集真实考场监控视频数据，利用深度学习技术设计了面向考场监控视频的异常行为检测方法，并开发了对应的考场监控系统，以对考生的行为进行有效识别，从而更好保证考试的公平公正性。 本文的考场监控视频数据来自于真实的考场监控。由于考场的不同，每个考场的摄像头位置与角度存在一定差异，所以考生在视频帧中的分辨率也有所差异，距离摄像头较近的考生所占分辨率较大，而距离摄像头相对较远的考生所占分辨率则相对较小，属于小目标。此外，由于考场中考生众多，加上摄像头角度问题，考生之间会存在一定程度的遮挡现象，这无疑也增加了检测任务的难度。目前，考场监控视频由于其特殊性以及保密性，业内缺少足够的标注数据集，而基于深度学习的方法要取得较好性能的前提很大一部分是由于数据的支撑，这使得构建一个针对考场监控视频的数据集成为了工作开展的首要任务。此外，由于视频数据来自真实考场场景，所以考生的异常行为样本数目少，考生的正常动作样本数远大于异常动作样本数，即存在数据不平衡现象。 针对上述问题，本文提出了一种基于深度学习的考场监控视频异常行为检测方法，主要工作如下: 本文整理标注了面向考场监控视频的数据，制定了标注规则，并根据标注规则构建了目标检测阶段使用的Examination_Object数据集和用于考生异常行为检测的Examination_Behavior数据集，为模型提供有力的数据支撑。 本文提出了一种两阶段的考场视频异常行为检测方法，包括目标检测阶段和行为检测阶段。在目标检测阶段中，为了区分监考老师与考生对象，本文将考生与其所在的课桌当成一个整体进行检测，以便专注于每个考生形成的动作视频片段。为了解决目标检测中的多尺度问题，提高检测器对小目标的检测能力，在特征提取过程中添加特征金字塔结构融合不同尺度的特征层信息，从而实现在不同的特征层上对不同大小目标分别进行预测，有效解决考场环境下多尺度目标检测的问题。针对考场场景下考生之间遮挡现象严重的问题，本文在使用级联式网络的基础上针对分类损失进行了优化，并引入PolyLoss提高模型训练效果，使得模型在考场目标检测数据集上实现了对监考老师和考生较高的识别正确率。 在行为检测阶段，提出了一种新颖的特征提取模块，将多尺度视觉transformer与特征金字塔相结合，并采用池化注意力机制实现下采样操作。为了提高行为检测模型对小目标行为的识别能力，增加模型对小目标行为的敏感度，在特征金字塔网络中创新性地使用3D卷积，配合多尺度视觉transformer进行视频特征提取。另外，本文提出了一种可以用于目标级别动作分类的多目标分类头模块，有效进行目标级别的动作分类。同时，通过采用带权重的交叉熵损失函数和加权采样策略，依据训练中每个动作类别样本的数目来设置相应的权重系数，有效缓解数据不平衡问题，提高模型对异常行为的识别能力。并采用多种数据增强方式,增加数据多样性，有效缓解过拟合现象。 本文设计了面向考场监控视频的考场监控系统。通过监控设备获取视频流数据，模型可以对视频数据进行处理，得到考生的行为类别和位置信息，并返回可视化结果，这有助于相关工作人员发现可能存在的考生异常行为，协助监考老师的监考，对于更好保证考试的公平公正性具有较大意义。
NETL