摘要
时空行为检测技术在计算机视觉领域有重要的研究意义，主要任务是在一段视频片段上识别特定的行为实例，在时序上确定动作的起止时间，在每帧确定该动作的空间位置。为满足实际应用场景的实时性和泛化性，本文选取基于轻量级网络的模型架构，由于在线检测时无法获取未来帧且轻量级网络的特征提取能力有限，并且不同边缘设备移动设备存在算力低和实时性要求高情况，为了满足实际应用的要求，提高时空行为检测网络的泛化性，本文分别对网络进行了特征增强和网络加速改进，主要内容如下： （1）特征增强部分：针对在线检测时轻量级网络特征提取能力不足，本文从四个方面使网络获取并利用更丰富的特征信息。首先为获取更多不同尺度大小的特征信息，本文引入特征金字塔结构，在不同层级的特征图并行检测，提升对不同尺度大小目标的识别准确率；其次为使网络提取的特征信息更准确，将网络回归损失函数选取为效果更好的SIoULoss，从而提升动作定位的准确率。之后为排除不同特征信息之间的干扰，将分类特征和回归特征两种信息耦合的单一探测头改为解耦的探测头并行检测，从而同时提升分类和定位的准确率。最后为了将二维空间特征和三维时空特征融合得更充分，对CFAM的注意力机制进行改进，引入三个可学习的Q，K，V权重矩阵的多头自注意力机制，增加更多学习参数，从而提升识别精度。 （2）网络加速部分：针对在线检测时网络运算复杂实时性差，本文从三个方面减少运算量提升识别速度。首先为减少3D骨干网络的运算量，选用更高效的骨干网络，明显减少网络参数量，从而提升识别速度；其次为避免冗余特征信息的提取，通过在骨干网络之间添加交互层模块使网络在特征提取阶段建立连接，将2D骨干网络获取的具有更丰富空间信息的关键帧集成到3D骨干网络中，避免对重合度高信息的冗余提取，从而提高识别精度的同时加快识别速度。最后为减少预测层耗费的时间，将anchor-based改进为anchor-free，大大减少锚框数量，同时为解决运算量大和忽略高质量预测框的问题，将单一正样本标签分配改进为动态标签分配，从全局最优角度扩充正样本数量，提升识别精度的同时加快识别速度。 最后通过实验证明了本文改进的有效性，改进之后的网络在UCF101-24数据集上F-mAP提升了6.1%，FPS提升了12，识别精度和速度均有提升。
NETL