摘要
在计算机视觉任务中，人体行为识别是指依靠特定人工智能算法使得不存在自主意识的机器能够具备一定程度的类脑思想从而理解行为动作具体含义的技术，近些年来在人机交互、体育分析、安防监控和医护保健等生活场景中得到了广泛应用，并逐渐成为计算机视觉领域的一大研究热点。尽管现有行为识别技术得到了快速发展并取得了较大的研究进步，但是在实际场景下精确识别出行为类别依然存在着一些问题和挑战，主要包括个体差异导致的姿态多样性、时域时序依赖关系提取不足以及全局固定骨架图结构表达能力受限等问题。 针对上述问题，本文从行为序列数据的时空结构特点以及现有识别模型的局限性入手，以减小相同类别行为间的差异性，增大不同类别行为间的区分度为目标，开展基于时空动态表示的人体行为识别研究。本文首先引入图结构表示人体姿态数据并根据其空间分布信息和结构特性，构建合适的空间差异描述符从而提高特征表示对空间姿态变化的鲁棒性；其次，根据图结构表示设计了基于空间姿态关节点连接关系的图卷积运算和向量形式的差异权重参数，构建可堆叠学习的深度网络结构，实现从数据输入到预测输出的端到端工作模式；再次，结合时域时序依赖关系设计了一种时域图表示结构，以此维持固有时序变化规律，完善时空序列数据的特征表示；最后，基于样本数据分布特点设计实现能够自适应学习全局图结构特征与局部图结构特征的动态表示模块，提高模型自适应动态学习表达能力。具体来说，本文研究工作的主要贡献可总结为以下四个方面： 1、提出了基于空间差异描述符的人体行为识别方法，本文首先通过引入图结构表示，在保留了通道差异信息的同时，还可以表示人体姿态空间结构特征；然后，根据人体姿态关节点的空间分布信息及结构特性，创造性地使用二阶统计操作构建合适的空间差异描述符，提高特征表示对空间姿态变化的鲁棒性，摆脱样本数据空间分布多样性约束。为了验证所提出模型的识别性能，实验部分在三个标准通用的行为识别数据集上进行测试，最终识别效果均优于其它对比方法，这也证明了提取空间差异信息有助于挖掘数据减小类内差异性、增大类间差异性，从而提升模型识别性能，提高分类准确率。 2、在空间差异描述符的基础上提出了一种空间图卷积网络，通过设计通用的深度学习结构，实现了从数据输入到预测输出的端到端工作模式。本文首先从行为序列数据的图结构表示出发，设计了一种基于空间姿态关节点连接关系的图卷积运算，完成对人体空间姿态特征的提取；其次，根据深度神经网络中相同功能模块层的结构特性，设计了向量形式的差异权重参数来优化学习人体姿态的空间差异特征表示；最后，对于行为序列数据中蕴含的的时域依赖关系，依据固有的时间顺序信息，引入卷积结构直接基于特征输入计算对应的时序依赖，从而并行化处理数据，加速网络训练过程。在三个通用数据集上的实验结果表明，所提出的模型方法取得了更好的识别效果，也由此验证了该模型结构的有效性。 3、在空间图卷积结构的基础上继续探索时域范围内的时序依赖关系，提出了可以保持固有时序变化关系不变的高效时域图表示结构。其中本文构建时域图结构时所定义的局部划分策略，相比于固定结构及全局划分拓扑表示，能够更好地体现出权重映射差异性影响，所对应的操作结构更加稳定可控，可以增强模型的差异性表达能力。而且根据时域图表示结构所设计的图卷积运算，在保持时序影响关系不变的情况下，仍然能够实现有效的时域依赖特征表示和高效的并行化计算，解决了传统卷积结构提取时间维度特征时存在的信息泄漏以及循环神经网络单元串行计算时域隐状态导致的计算效率低下等问题，提高了模型的识别性能和运算效率。最终通过结合空间图卷积结构得到了基于时空图表示网络的人体行为识别模型，该模型通过空间维度和时域范围内共同构成的时空骨架图结构对行为序列数据进行分析建模，完善了时空序列数据的特征表示，有效提高了整体识别准确率。 4、深入研究了图结构框架对行为识别模型整体性能的影响，针对传统图神经网络构建人体姿态内的空间骨架图和不同时刻姿态间的时域骨架图时采用固定时空图结构导致的局部细节信息丢失问题，提出了一种基于数据驱动的骨架图自适应动态表示方法。本文首先基于整体行为序列数据的分布特点构建全局动态表示结构，自适应学习提取更具代表性的通用骨架图表示，有效增强整体行为特征的通用表达能力，提高整体识别效果；其次，通过嵌入映射变换和相关度表示构建局部动态表示结构，从而为单个行为序列计算区分度明显的最优化骨架图表示，提高对不同类别行为的精确分类能力，摆脱手工设计图结构参数的限制；最后，结合时空图卷积结构，基于全局动态表示和局部动态表示结构来自适应提取人体行为序列特征，进一步提高模型动态学习能力及识别性能。在两个深度学习标准数据集上的实验结果表明，该方法相比其它最优化模型识别准确率分别提升了3.4%和3.1%，验证了其能够有效改善模型整体识别表现的作用。
NETL