摘要
随着机器学习等相关技术的高速发展，计算机视觉和人工智能等技术已经取得了显著的效果。但是，随着实际应用中需要识别的类别标签不断增多，利用监督学习方法来处理海量数据的传统分类方式已经不再符合现实需求。为了让机器能够在有限条件下识别出新的类别，一些研究者开始将零样本学习方法应用于分类任务中，即通过已知的先验知识对训练集中不存在的类别进行识别。零样本分类是迁移学习的一个分支，其在无监督领域的应用有着重要的研究意义。 近年来，零样本分类算法已经被学者们广泛研究，与大多数基于图像分类的工作不同，本文主要针对其在人体动作识别领域中的研究与应用。随着深度学习技术的不断发展，许多零样本人体动作识别方法被提出，但这些方法仍然存在一些问题:(1)现有的零样本人体动作识别方法大多是基于第三人称视频数据展开研究的，但第三人称视频数据具有采集场景单一、无法全时段跟踪采集等局限性;(2)目前大部分零样本人体动作识别工作都是利用单模态数据展开的，识别的效果不佳。 针对上述问题，本文展开了如下研究: (1)本文研究了基于特征判别的特征生成对抗网络（FD-fGAN）的零样本人体动作识别算法，实现了在第一人称视频数据上的零样本动作识别;(2)本文提出了一种新的利用语义子图对人体动作的传感器特征和视频特征进行融合的方法，并基于此方法提出了一个基于图神经网络的多模态零样本人体动作识别框架。具体来说，本文框架主要由多模态特征融合网络和零样本人体动作识别网络组成。在多模态特征融合网络中，传感器特征提取模块使用卷积神经网络来提取加速度数据和心率数据的特征;视频特征提取模块使用语义子图来实现传感器特征和视频特征的融合，并通过利用图卷积神经网络将每个动作的传感器特征、属性和对象分数映射到属性-特征空间中。在零样本人体动作识别网络中，本文框架使用分类模块来实现零样本分类功能，并通过利用传感器特征、人体动作和对象的词向量来生成动作分类器。最后，模型使用分类模块生成的分类器对传感器特征和从视频特征提取模块中得到的对象特征进行分类，从而实现零样本人体动作识别功能。
NETL