摘要
开门作为人类生活中最常见的动作之一，对移动机械臂而言却是一种复杂操作任务。传统的机械臂开门方法依赖于对环境的详细建模和精确的控制策略。深度强化学习方法通过与环境的交互来学习最优的操作策略，在处理复杂任务时具有一定的优势。本文以使用深度强化学习方法解决开门操作任务为导向进行研究，主要内容如下： （1）软硬件结合建立了机械臂-灵巧手开门操作任务实验系统。搭建了实体的移动机械臂；进行了机械臂的运动学分析；通过MuJoCo搭建了机械臂-灵巧手的动态仿真模型；利用Gym编写了自定义的开门操作任务深度强化学习环境。 （2）利用触觉信息来优化深度强化学习算法进行开门操作任务训练。首先设计了力传感器用于反馈触觉信息，其次对比了增添触觉信息前后的四种深度强化学习算法的学习效果；最后分析表明使用了触觉信息的柔性评论家（SoftActor-Critic,SAC）算法更适用于机械臂-灵巧手的开门操作任务。 （3）提出利用结合事后经验算法（HindsightExperienceReplay,HER）的柔性行动者-评论家（SAC-HER）算法来完成稀疏奖励环境下的开门操作任务，解决了在具有稀疏奖励的复杂深度强化学习任务中端到端难以学习的问题。 （4）提出使用分层强化学习来完成开门操作任务的方法。利用分层强化学习思想将复杂的开门操作任务拆分为抓住门把手、转动门把手和拉开木门这三个子任务；采用前述的SAC-HER算法来学习各个子任务策略，使用A2C算法学习高层策略，从而对子任务编排执行顺序；实验结果表明，分层强化学习算法在有效地完成开门操作任务的同时还能提升任务成功率，缩短训练时间。 总结而言，本文构建了结合6自由度机械臂和11自由度灵巧手的机械臂-灵巧手模型，设计了具有门闩的木门的开门操作任务深度强化学习环境，利用触觉信息来优化SAC算法，通过提出的SAC-HER算法和分层强化学习算法进行训练，在物理仿真引擎MuJoCo中完成了开门操作任务。
NETL