摘要
近年来，信息技术的不断发展使得计算机等设备模拟生物视觉系统的计算机视觉任务引起了学术界和工业界的广泛关注。视频中人体行为分析一直是计算机视觉任务中的研究热点，在安防监控，运动分析等多个领域有着广泛的应用。近年来，数据存储能力，计算能力的快速提高，使得深度学习技术日臻成熟。基于深度学习的视频中人体行为检测技术也因此得到了长足的发展。 然而，由于视频中复杂的背景环境，光照变化以及人体动作的差异性，导致目前视频中的人体行为检测技术仍存在着较多难点。针对上述难点，本文重点研究了双流神经网络在时序行为检测中如何挖掘更多完整高效、鲁棒性更强的行为特征，定位关注行为发生的时间片段并判断行为类别。本文主要研究工作如下: (1)提出一种基于三维卷积神经网络的行为分类网络结构。针对一段经过修剪的只包含一类动作标签的视频，为了避免提取视频的帧级或片段级特征造成动作上下文信息不完整的问题，以及避免由于全连接层固定输入大小造成的动作内容丢失或失真的问题，本文提出了一种新型的端到端的行为分类网络，在三维卷积神经网络和金字塔池化的共同作用下，不同时长和分辨率的视频都可以高效提取完整的，鲁棒性更强的动作特征。该算法在UCF101和HMDB51数据集上的精度分别达到了96.5％和72.1％。 (2)提出一种基于连续动作框序列的行为检测算法。针对一段更长的未经过修剪，可能包含多类动作标签的视频，为了减少复杂背景环境的影响，首先将注意力集中在可能发生行为的关键区域，形成连续的动作框送入时序行为检测网络。为了准确定位时序行为发生的时间和判定行为类别，本文提出了一种双流的行为检测网络，在整段视频上回归行为发生的时间框，消除时间维度冗余信息的影响，使用双流网络融合分类结果，提升算法性能。该算法在检测的准确率和时间效率上都有很好的表现。 (3)提出一种异常行为视频监控报警机制。针对博物馆等室内场所，将人体行为检测技术应用于异常行为视频监控报警机制中，支持实时判断多路监控中是否产生规定的异常行为，并及时提示告警和日志记录。该机制基于视频的滑动窗口以及累计异常值算法策略以降低虚警率，并进一步设计和实现了基于异常行为报警机制的原型系统。
NETL