首页|基于视觉的柔软物体机器人抓取识别与评估方法研究

基于视觉的柔软物体机器人抓取识别与评估方法研究

黄睿

基于视觉的柔软物体机器人抓取识别与评估方法研究

黄睿1
扫码查看

作者信息

  • 1. 浙江工业大学
  • 折叠

摘要

随着机器人技术和人工智能技术的快速发展,智能机器人在工业和生活中广泛应用。基于视觉的机器人抓取技术是机器人领域的重要组成部分,其主要任务是通过给定的视觉信息计算物体的姿态或者抓取姿态。机器人抓取技术已成为近年国内外学者的研究热点之一。目前,机器人抓取方法的研究已经取得了不少成果,然而针对柔软物体的抓取研究还存在一些待解决的问题。以往研究大多考虑抓取刚性物体,而这些方法直接用在对柔软物体的抓取中,会导致物体损坏。同时,低成本机器人获得抓取时精密的触觉信息较为困难,难以用更精细的方式抓取柔软物体。因此,本文针对柔软物体研究低成本机器人抓取方法,具体研究内容包括以下三个方面。 (1)针对复杂场景下的机器人抓取柔软物体损坏问题,本文提出基于点云的柔软物体抓取姿态预测方法。该方法通过八自由度抓取姿态描述机器人对柔软物体的抓取,包含夹持器的旋转、平移、宽度和闭合程度。首先,通过利用物体在抓取时的形变长度比来近似物体形变特性,降低对夹持器的需求。其次,通过预测物体的接近向量、面内旋转、接近距离和物品形变特性,并根据当前的抓握姿态与物品形变特性计算夹持器的闭合程度,得到八自由度抓姿态,提高预测正确率。另外,提出利用截断符号距离函数重构数据集中场景数据以解决相机成像时出现的孔洞等问题。 (2)针对柔软物体抓取状态评估任务,本文提出基于复合分离几何注意力神经网络的抓取状态评估方法,用于评估某一抓取姿态下的物体抓取状态。首先,分离抓取前后物体点云得到边缘和内部点云。然后,通过复合注意力神经网络利用不同的注意力矩阵提取各个部分的特征及被抓取时物体形状的变化,从而学习物体的抓取状态。此外,基于该模型设计了精细化抓取实验,并提出抓取调整策略,赋予低成本机器人抓取柔软物体的能力。 (3)为了进一步提高抓取成功率,并满足实际应用的需求,构建机器人抓取系统,包括客户端和服务端。其中,服务端主要由“识别”和“评估”两模块构成。“识别”模块预测物体的抓取姿态。“评估”模块对当前姿态进行评估。客户端主要负责信息采集和机器人运动控制。为了结合“识别”和“评估”两部分算法,提出了抓取结合策略,减少因为预测错误而造成的抓取失败。 根据上述研究内容,设计机器人抓取实验,验证本文所提方法的有效性。首先,制作相关数据集并训练所提模型。然后,在真实机器人上进行了大量的抓取实验,验证所提方法在抓取真实物体的性能,并与其他方法进行对比。最后,构建了智能机器人抓取系统。通过结合两种不同的柔软物体抓取方法,进一步提高抓取性能。实验结果表明,本文所提的基于视觉的机器人抓取系统在没有引入额外触觉传感器的情况下,保证了抓取成功率,减少了物体损坏率,具有一定的实用价值。

关键词

机器人抓取/抓取姿态预测/深度学习/抓取状态评估/分离几何

引用本文复制引用

授予学位

硕士

学科专业

控制科学与工程

导师

禹鑫燚/欧林林

学位年度

2023

学位授予单位

浙江工业大学

语种

中文

中图分类号

TP
段落导航相关论文