摘要
人体动作识别是目前计算机视觉领域中极具挑战性的研究课题。其融合了计算机视觉、深度学习、模式识别等众多学科的研究成果,并在人机交互、辅助医疗、视频监控等领域具有广泛的应用价值。人体可以视为一种关节系统,用骨骼节点在三维空间中的运动表示。随着深度传感器的发展,基于骨骼数据的动作识别受到越来越多研究者的关注。 图卷积网络(GraphConvolutionalNetwork,GCN)因其对非欧氏空间良好的特征表示能力,在基于骨骼数据的动作识别任务中取得了巨大进展。然而现有的GCN方法仍然存在不足之处:一是普遍采用关节或骨骼数据作为输入,只能提供人体固有的静态信息;二是直接使用常规图卷积操作聚合拓扑图中关联节点的信息,忽略了中心节点与关联节点之间的局部运动信息。针对上述问题,本文对现有GCN方法进行改进,具体工作内容和研究成果如下: 1)本文提出了一种新的中心差分图卷积算子(CentralDifferenceGraphConvolution,CDGC)。该算子不仅可以在特征聚合期间捕获相关联节点的强度级语义信息,而且可以获取中心节点与其相关联节点之间的动态梯度信息。此外,所提CDGC不引入任何额外的参数,可以取代任何现有图卷积网络中的常规图卷积算子并提高其性能。在NTURGB+D60数据集上的实验结果充分证明了CDGC的有效性。 2)虽然CDGC具有良好的识别性能,但是仍存在计算过程复杂的问题。本文在其基础上提出了轻量化中心差分图卷积算子(AcceleratedCDGC)。该算子将空间移位图卷积与中心差分相结合,在实现更高识别性能的同时,大幅提高了网络的训练速度,是一个更具表现力的图卷积算子。实验在两个大型基准数据集NTURGB+D60和NTURGB+D120上进行,所提方法取得了迄今为止的最高识别准确率。