摘要
人体动作融合检测与评估是计算机视觉领域的重要研究方向，在舞蹈训练场景中具有重大的应用价值，能够帮助训练者提高技能水平，同时降低舞蹈训练的准入门槛。考虑到单一视角下的遮挡问题以及实现深度相机和彩色相机的优势互补，本文提出了分布式传感器融合的方法来提高人体姿态估计的精度，支撑起人体动作的融合检测和动作质量的评估。同时，由于舞蹈训练对于动作节奏感和流畅性的特殊要求，给动作质量评估带来了新的挑战，因此本文提出了基于序列对齐和长度惩罚的特征加权动作质量评估方法。特别地，本文针对面向舞蹈训练的人体动作融合检测与评估方法开展研究，并设计实现了舞蹈训练系统。主要研究工作如下： 1、针对舞蹈训练中人体运动突变、关节遮挡和误识别的问题，提出了一种分布式传感器融合的人体姿态估计方法。首先，通过长短期记忆网络实现人体关节点运动学模型的自适应建模，克服传统建模方法在人体运动模式和轨迹复杂多变情况下存在的局限性。然后，采用自适应容积卡尔曼滤波的人体姿态估计方法，提高估计的准确性和鲁棒性，实现分布式传感器融合的人体姿态估计。 2、针对现有动作检测与评估方法在复杂舞蹈训练场景下精确度低且平稳性差的问题，提出了一种分段式人体动作融合检测与评估方法。首先，为提高动作检测的准确性和连续性，使用神经网络方法实现运动轨迹的细粒度分割，并结合运动轨迹边界定位算法，检测出序列中包含的子动作片段。然后，为实现准确的动作质量评估，先采用结构动态时间规整方法将动作序列对齐并提取运动特征，再通过特征偏差加权、序列长度惩罚及节奏感需求来综合计算最终的动作质量分数。 3、设计了面向舞蹈训练的人体动作融合检测与评估系统。系统主要由人体动作融合检测与评估算法模块和用户交互模块组成。首先，采用了两台 Azure Kinect相机，并基于 Azure Kinect Body Tracking SDK和 BlazePose开源库实现了分布式传感器融合的人体姿态估计。然后，根据融合估计后的人体姿态序列进行动作检测与评估，并在上位机模块和3D展示模块中实现用户交互。 本文通过对基于人体姿态估计的动作融合检测与评估方法做进一步优化，使其满足舞蹈训练过程中所需的准确性和稳定性要求，并通过仿真和实验验证了本文所提方法应用于舞蹈训练的可行性和有效性，为舞蹈训练领域提供了新的解决方案。
NETL