摘要
家庭服务机器人的发展尚未成熟，对家居环境中任意摆放姿态的物体进行准确且灵巧的抓取操作是目前家庭服务机器人急需攻克的难点之一，为使机器人能够灵巧地抓取不同类别以及不同摆放姿态的物体，本文结合深度学习与点云配准技术，设计了一套基于三维视觉的机械臂抓取系统。首先，基于YOLACT实例分割网络对图像中的目标物体进行识别与分割，获得目标物体的实例掩膜；接着，通过将RealSense-D455相机的深度帧与彩色帧对齐，结合深度相机的成像原理，根据目标物体的二维实例掩码获得目标物体的局部三维点云；然后，使用点云配准算法将目标物体局部三维点云与对应的模板点云配准，得到目标物体在相机坐标系下的位姿；最后，根据手眼标定得到目标物体在机械臂基坐标系下的位姿，根据该位姿规范机械臂的抓取位姿，控制机械臂实现对目标物体灵巧性的抓取操作。本文主要完成了以下研究内容： （1）选择“眼在手上”的搭配方式，搭建一个基于ROS的机械臂视觉抓取系统，对RealSense-D455相机进行内参标定和手眼标定实验，获得相机的内参矩阵和相机与机械臂的手眼关系矩阵。 （2）使用YOLACT实例分割算法获取目标物体的实例掩膜，并结合深度相机的成像原理得到目标物体的局部三维点云，针对实例分割过分割导致生成的目标物体三维点云边缘劣化的问题，引入了一种根据图像深度信息自适应区域增长算法，获得较为精细的目标物体三维点云。 （3）针对传统ICP算法配准效率较低的缺陷，通过ISS算法、SHOT三维特征描述子以及距离权值的方法对传统ICP算法进行改进，最终使用SAC-IA粗配准算法和改进的ICP精配准算法，将实际场景中目标物体局部三维点云与对应模板点云进行配准，在保证配准精度的同时提高了配准效率，使系统具备较好的实时性。 （4）为使家庭服务机器人能够对任意摆放姿态的物体进行准确且灵巧的抓取，研究了一种对柱状物体和球状物体的模糊抓取方法，并对不同姿态的瓶子和网球进行抓取实验。 实验结果显示，本系统抓取总成功率为93.75%，平均绝对误差不超过5.5mm，平均相对误差在1.7%以内，表明本系统抓取总成功率较高，且误差基本满足实际精度需求，本系统对任意姿态物体的操作性较好，对家庭服务机器人的发展具有一定的实用价值。
NETL