摘要
行为识别是计算机视觉中一个非常受重视的研究方向，在智能监控、医疗看护、手语翻译、人机交互、虚拟现实等领域有着广泛的应用。骨架序列是人体状态的紧凑表示，避免了背景干扰，数据量小，行为描述能力强。因此，基于骨架序列的方法是行为识别中一个重要分支。尤其是随着深度学习的发展，基于深度学习的骨架行为识别日益成为研究热点。近年来兴起的基于图卷积网络的方法，因其对人体骨架天然结构信息的充分表达，在性能上取得了突破性的进展。但是，这些方法仍然存在着空间高级语义提取不足，表示能力不够，节点连接混乱，时空关系建模不完整的问题。本文针对这些问题，对现有方法进行了改进。 针对多种行为涉及的人体区域大小不同，所覆盖的感受野层级较多的问题，本文构建了一个多级语义图卷积网络。该网络在多个语义级别上构建行为描述，实现了对骨架层次先验知识的有效利用。同时，该网络提高了网络探索大尺度时空感受野信息的效率，增强了对于不同动作幅度大小的行为的鲁棒性。实验数据表明，多级语义图卷积网络在获得比此前方法更准确识别精度的同时，减少了一半的网络层，有着更少的参数量和更快的推理速度。 针对现有图卷积网络表示能力不够、图结构中冗余连接干扰有效关系建模的问题，本文构建了关系选择图卷积网络。该网络以可学习的方式实现了对节点间连接关系的有效筛选，避免了节点间冗余连接对时空关系建模的干扰。此外，还赋予了图拓补关系建模更多的灵活性，有着更强的行为描述能力和上下文关系提取能力。在实验中我们发现，关系选择图卷积神经网络可以构建稀疏有效的图拓补结构，并且在行为识别精度上有着明显的提升。 针对现有图卷积网络在时空域内关系建模不完整，图结构共享导致特征处理能力受限的问题，本文将图卷积神经网络与卷积神经网络进行集成，形成一个针对骨架行为识别的混合网络。混合网络实现了网络局部时空域的完整节点关系建模，避免了通道间的图结构共享。在保留结构先验信息的前提下，完成了从图结构特征图到网格状特征图的转换。从实验结果表明，混合网络有着比图卷积网络和卷积网络更高的识别准确率，特别是在一些难度较大的类别中，这一优势更为明显。 综上，本文对现有基于图卷积网络的骨架行为识别方法在多级语义建模，空间图构建和时空关系捕捉上所存在的不足进行了深入研究，并针对这些问题提出了一些新的方法。这些方法都是结合对骨架行为识别这任务的理解，从不同角度对现有图卷积方法进行的改进与创新。在NTU-RGB+D、NTU-RGB+D120、Kinetics-Skeleton、Northwestern-UCLA等公开数据集上，用实验验证了这些方法的有效性，较现有骨架行为识别方法相比，取得了较为明显的性能提升。
NETL