摘要
推-抓操作技能学习是机器人处理物体抓取任务的基础，已有推-抓操作技能学习方法抓取单物体时往往未考虑物体形状和环境先验知识以及在多物体混合分布时存在抓取困难。为此本文研究了基于深度强化学习的推-抓操作技能学习，针对面向单物体的抓取任务和面向多物体的抓取任务分别设计了两套推-抓操作技能学习方法，基于RGB-D传感器和UR5机械臂搭建了机器人推-抓操作技能深度强化学习系统以验证所提方法的有效性。 针对机器人在处理单物体抓取任务时未考虑物体形状和环境先验知识而导致抓取成功率低的问题，研究了引入物体形状和环境先验知识的推-抓操作技能深度强化学习方法。为了将物体形状和环境先验知识用于制定针对性的抓取策略，提出了改进回报模块的DQN决策模型以实现推-抓序列操作学习。该模型通过一个SVM分类器将物体形状和环境先验知识引入到回报模块之中，在训练过程中可以不断激励决策模型学习到期望的操作策略。实际环境中的实验结果表明，该方法对立方体类物体的抓取成功率高达90%，将圆柱体类物体推到约束边界附近以方便侧抓的成功率达到了75%。 针对多物体混杂情形下的推-抓操作技能学习方法存在抓取困难的问题，研究了改进的多物体推-抓序列操作技能学习方法。为了避免推-抓操作技能结合的多物体抓取方法在不适合抓取的情形下执行抓取操作，引入不可抓取判断模块对不适合抓取的情形进行预判，根据判断结果决定继续执行抓取操作或者改执行推操作。考虑到推操作有时仅仅将多物体整体推动而不是推开，实施了回报设置改进以激励用于学习推操作技能的DQN决策模型做出推操作决策将多物体推散开且不至于推出工作空间之外。改进后的方法有效提高了多物体抓取的效率。 根据以上推-抓操作技能深度强化学习方法的研究，搭建了机器人推-抓操作技能深度强化学习系统，开发了特征提取、运动决策和运动规划三大模块，验证了本文所提方法的可行性和有效性。
NETL