摘要
自然人机交互能保证人机交互的通用性、友好性，其中动作识别技术与抓取位姿估计技术是自然人机交互系统中重要组成部分。为此，本文针对动作识别与抓取位姿估计等关键技术开展研究，并设计了一套具有高鲁棒性的人机交互系统。 首先，以七自由度机械臂为平台，对人机交互系统的总体控制方案进行了设计。采用臂型角方法对机械臂逆运动学分析，实现机械臂的运动控制。为了使机器人准确抓取相机图像中的物体，分析了相机与机器人的坐标变换，通过 Tsai 算法完成相机“眼在手上”的视觉标定。 其次，提出了对人体骨架序列时空特征提取的动作识别算法。通过对骨架数据进行视点无关处理及数据滤波，降低动作序列对位置变换及传感器干扰的敏感性。设计了双扩展时域自适应图卷积神经网络模型，完成对人体骨架序列的动作识别，并能有效地处理个体动作之间时间差异性问题。对所设计模型进行实验对比与演示验证，其在真实场景中达到96.3%的识别率，具有高鲁棒性。 再次，研究了复杂背景下物体的抓取位姿估计算法。基于注意力机制设计了混合域残差网络模型，该模型能对图像中的物体与复杂背景进行分离，更好地提取物体本身的特征，实现对物体抓取位姿的准确估计。在实际抓取任务的实验验证中，本模型达到91.3%的抓取成功率，满足复杂环境下人机交互系统对抓取任务的需求。 最后，设计并开发了人机交互系统。完成了整个系统的软硬件集成开发，以七自由度机械臂为平台，设计并完成了人机交互实验，对整个人机系统的有效性进行了验证。
NETL