摘要
无人飞行器能在三维空间运动，将机器人系统应用范围扩展到广阔的空域，可代替人类进行远距离的感知探索或在危险环境中进行作业任务。飞行机械臂结合了无人飞行器的定点悬停、机动飞行和机械臂灵活操作的特性，能与环境进行有效实质的物理交互。实现精确稳定的空中抓取操作是使飞行机械臂得到更多复杂应用的基础。目前亟需将人工智能、边缘计算和特定场景的视觉伺服策略等前沿技术应用到飞行机械臂系统。因此本文将开展基于NPU的飞行机械臂的实时目标检测和抓取研究，研究内容包括面向应用设计旋翼飞行机械臂，进行建模和控制，开发目标检测与跟踪算法,在复杂空间环境中获取精确、稳定、可靠的目标状态，完成对物体的抓取操作。 本文建立了旋翼无人机所搭载的六轴串联型机械臂的正、逆运动学模型，推导了微分运动学方程用于对机械臂末端执行器的线速度与角速度分量的控制。其次，为了给飞行机械臂抓取任务提供目标物的定位信息，设计了基于嵌入式NPU的实时目标检测-跟踪系统框架，实现了硬件平台设计与软件方案。为保证检测系统后续能实际部署到飞行机械臂上发挥作用，进一步明确了检测系统中的信号流向和通信机制。 为充分利用NPU的神经网络加速能力，本文接着优化了YOLO系列算法构建高性能目标检测系统。为了使输出的检测框更加平滑和稳定，增加单目标跟踪模块，构建了检测—重初始化策略。最后，分析设计了飞行机械臂整体控制器，并提出多任务联合伺服分配律，减小多旋翼无人机自身和串联型机械臂相互耦合作用对伺服抓取任务的动力学影响。针对人工标记物、自然特征提取图像中的视觉特征存在的局限，利用了深度学习方法在摄像头采集的图像中检测物体边界框。 为了验证所提出方法的有效性，本文搭建了仿真实验平台，在机器人操作系统和Gazebo动态模拟平台上进行了基于NPU的目标检测和飞行机械臂的空中抓取实验，并详细分析了得到的实验结果。对实验数据的分析可以证明，本文提出的基于NPU的目标检测方案可以实现对目标物的精确检测，混合视觉伺服控制方法能够实现飞行机械臂精确稳定的抓取，更符合实际的应用场景。
NETL