摘要
暴力行为是妨碍社会安全的因素之一，随着社交媒体的发展，校园霸凌现象以及暴力犯罪频繁报道。传统的暴力行为识别方法通常鲁棒性较差。目前，随着深度学习技术的广泛应用，利用人工智能技术检测暴力行为识别效果更鲁棒。但在实际暴力场景中，仍然存在较多问题，其问题主要体现在三个方面：一是由于视频数据量庞大以及计算量大等现实情况，仍然存在一定轻量化瓶颈，且基于边缘计算方法大多集中于图像级，针对视频级的边缘计算方案仍然有待研究；二是容易产生暴力行为误判；三是不能提供实时警告，无法及时阻止暴力事件发生。 针对上述问题，本文在大量试验分析的基础上，提出一种轻量级时空多尺度暴力检测网络 (Multi-Scale Spatio-Temporal Network，MSTN)，并且在此基础上提出一种基于稀疏训练的MSTN网络剪枝策略以优化边缘端设备计算效率。进一步地，针对暴力行为识别误判问题，增加网络鲁棒性测试以及相关模型训练以应对现实噪音场景干扰。通过以上方法，采用工程手段生成暴力记录以及即使播放语言警告制止，以实现对区域突发事件的实时预警。本文的具体工作如下： (1)为解决深度学习暴力检测网络推理效率低效问题，提出一种轻量级时空多尺度暴力检测网络 MSTN。首先，设计时空特征提取模块（Spatio-temporal feature extraction module，STM）用来粗提取原始视频的前景和背景之间的关键特征。其次，通过时间池和跨通道池构成的双池操作从STM中分别获取短帧率数据以及长帧率数据。进一步地，在获取的数据特性上，针对性地提出短时提取块（short-time building branch，STB）和长时提取块（long-time building branch，LTB）以提取不同时空尺度特征，其中 STB 模块用于捕获空间特征，LTB模块用于提取关键时间特征。最后，设计Translation模块，通过横向连接操作促进STB和LTB之间的特征交互以提高检测准确性。此外，本文添加了一种视频数据增强技术，对公共数据集采用了3种现实干扰（亮度、运动模糊以及散焦模糊）以测试数据和提高模型鲁棒性。本文设计的MSTN网络在Movie、RWF-2000和Hockey等多个公开数据集上进行训练和测试，实验表明：MSTN模型具有较高的计算效率和检测精度，且在3种现实干扰（亮度、运动模糊和散焦模糊）下具有较好的鲁棒性。 (2)为进一步适应暴力识别边缘端移植应用，提出一种利用稀疏训练对 MSTN 网络进行通道剪枝方法以实现模型参数缩减。首先，在网络每个卷积提取层后增加额外（Batch Normalization，BN 层），并通过对 BN 层的比例因子增加 L1 正则化以实现通道权重稀疏化。然后，对具备稀疏权重的网络结构进行通道剪枝，针对网络结构引入全局阈值和本地阈值，其中全局阈值控制通道修剪比例，本地阈值防止过度修剪当前算子层。进一步地，针对STB和LTB不同分支的异构性，本方法增加了相关层的依赖，对STB与LTB卷积层横向连接处的剪枝掩码取并集以降低剪枝时的精度损失。 (3)基于 MSTN 网络和剪枝算法，搭建一套基于 Jetson NX 边缘计算的暴力行为实时检测系统。系统包含视频流模块、图像处理模块、系统报警模块和数据存储模块。首先，系统通过 OpenCV 库采集监控实时视频流并进行网关设置。然后，将模型转换为TensorRT框架加速模型推理，在资源调配上利用Docker机制部署模型，使得多模型运行之间得到有效资源配置。最后，采用Socket通信机制将报警信息发送到后台服务器。实验表明，系统采用Jetpack 框架，能够稳定运行在 Linux 系统上，能够稳定高效的对监控区域暴力人员进行实时检测与报警。
NETL