摘要
随着社会信息化智能化发展，市面上的各种智能可穿戴设备琳琅满目。目前国内外市场上现有的可穿戴产品如智能手环、手表、眼镜等，虽然体积小巧，但传感器布置位置也因此受到限制，而将传感器集成于服装能够很好的解决这一问题。可穿戴设备的一个重要功能是识别佩戴者的运动状态,而现有的基于传感器的人体行为识别技术还达不到同时满足高精度与实时检测的需求，因此，研究设计一种高精度实时性且能适用于各种边缘计算平台的人体动作识别算法能够解决该技术痛点。智能服装作为智能可穿戴设备的新兴研究领域，拥有前所未有的机遇。 在这样的研究背景下，本文利用多模传感器、人工智能技术与数字孪生技术，设计并构建了一个智慧服装系统。同时，本文研究并改进人体动作识别算法，使得用户动作的检测达到了准确且实时的效果，并搭建了实时监测平台。论文的主要工作和成果如下: 1.使用多模传感器集成入服装，搭建了基于树莓派的智慧服装硬件平台。本研究使用的传感器主要有:MAX30102心率传感器、MAX90614红外体温传感器、ATK1218-BD北斗GPS双模定位模块以及WTGAHRS2十轴惯性导航姿态传感器。这些传感器用于收集用户的行为信息，包括心率、血氧、体温、定位信息，三轴加速度以及角速度信息。利用这些多模态的信息能够准确判断用户所处的运动状态。 2.研究了基于多模传感器信息的人体动作识别算法，提出了两种基于高维信息与时空特征融合的人体动作识别网络，TS-HAR与ST-HAR。这两种网络结合传感器信号在时域与频域的特征向量，提取了传感器信号的全局时间与空间信息。本文主要在时空特征提取器上进行了改进:(1)在TS-HAR中提出了基于注意力机制的过渡层ATB,将网络识别准确率提升至96.34％;(2)在ST-HAR中提出了基于连续编码模块的时序特征提取器TFE,使得ST-HAR能够获取传感器信号的全局时序特征，准确率也因此进一步提升至97.01％。 3.基于数字孪生技术，搭建了能够实时映射用户动作状态的三维数字孪生体监测平台。本研究利用数字孪生技术，通过增加传感器与数字孪生体的交互，将用户的状态以三维立体的形式展示在PC端界面，实现了用户状态由物理空间到数字空间的实时相互映射。
NETL