摘要
随着监控摄像头的应用和普及，监控视频数量激增，依靠传统人工对异常行为进行筛查和报警已不能满足社会的需求。行人异常识别工作需要将行为正确分类，要求所使用的算法模型具有较高的精确度，基于深度学习的行人异常识别方法得到研究人员的重视。行人异常行为属于小样本事件，面向研究任务作特征分析，提取数据关键信息，将形成有效的数据降维。视频数据关键帧和人体骨骼关键点承载较多信息量，可有效表达问题特征，有利于异常行为分类。主要研究工作如下： 为了减少模型处理视频的时间，节约成本，提出了基于复合特征聚类分析的关键帧提取方法。通过对视频帧方向梯度直方图（HistogramofOrientedGradient，HOG）特征的提取，进行聚类HOG特征对图像亮度、场景变化具有较好的稳定性，提取视频帧的HOG特征，引入图像信息熵构成复合特征矢量，以保持数据特征相关性。根据复合特征矢量，统计视频帧间差异数据，确定视频分割镜头、关键帧提取个数。分别考虑镜头内帧集合和完整视频帧集合，无重复地将信息熵较大的视频帧选为初始聚类中心，引导聚类算法的搜索方向，通过K均值聚类抽取视频关键帧。与传统K均值聚类方法比较，该算法冗余度降低0.003~0.015，查准率提高了0.14~0.21，降低了聚类时间，体现出较好的精度和效率，输入视频也得到了有效的压缩。 设计了融合多尺度卷积的注意力增强模块。为了加强特征通道中的重要特征信息，丢弃冗余特征信息，提高模型的精度和鲁棒性，设计了注意力增强模块，通过融合多尺度卷积的通道注意力和多尺度卷积的空间注意力，得到两个维度的注意力权重，从而使网络有针对性地注意通道信息。 设计了多尺度膨胀时间图卷积模块。图卷积模型通常使用固定的卷积核提取时域特征，为了增强感受野，引入多尺度膨胀卷积块。在同一网络层中，利用不同尺度的卷积对数据进行全局和局部的信息提取，将提取到的特征进行融合，从而提高模型判别能力。 采用多种指标评价融合注意力机制的多尺度时空图卷积模型性能，并在数据集NTURGB+D、KineticsSkeleton上进行消融实验，验证了设计模块的有效性，并与多种先进方法比较，结果表明模型具有良好的识别分类能力。通过对数据集Le2i的训练，模型在复杂背景下进行摔倒异常行为识别能取得较好的效果。
NETL