摘要
随着机器人作业空间的复杂化，四足机器人凭借良好的稳定性和环境适应能力，可以代替传统机器人在非结构化的地图上作业。自主路径规划能力是评价四足机器人智能程度的指标，所以路径规划算法受到了学者的广泛关注。常见的路径规划算法只适用于环境信息已知的情况下，但实际应用中的环境信息往往是未知的，路径规划算法需要具有一定的学习能力才能适应环境。为了提高四足机器人的智能性，让其准确安全地到达指定位置，本文提出了基于强化学习的路径规划算法，并在ROS中搭建了机器人实验环境，测试和验证了算法的可行性和有效性。主要研究内容如下： ①搭建了四足机器人的软硬件开发平台，为提出的路径规划算法的具体实现提供条件。首先介绍了传感器选型、环境建模方法，然后设计了四足机器人里程计和机器人模型，最后介绍了整体的导航框架。 ②在全局路径规划方面，为了解决环境信息未知或难以获得的工作空间的路径规划问题，利用基于值函数的Q-learning强化学习算法来进行环境探索，提高了机器人的智能程度。针对传统Q-learning算法的Q值表占用存储空间大的问题，引入锁定变量，通过Q-learning的四个派生性质来一次性更新Q值表，减少了算法的时间复杂度，缩小了算法的存储空间；针对最短路径问题，提出了改进的可进行斜向运动的Q-learning算法，对原算法的搜索方向进行了改进，在原本的四个移动方向上，增加了四个斜向运动方向，提高了算法的智能性和对环境的适应性。仿真结果表明改进后的算法能够实现较优的路径规划，并且有效减小了算法的计算量且缩短了路径的长度。 ③在局部路径规划方面，考虑到算法的搜索效率和环境适应能力，从规划时间和路径长度两个指标对基于图搜索的A*算法和基于采样的PRM、RRT和双树RRT算法进行了对比分析。通过仿真实验验证了双树RRT算法在规划效率、路径长度和环境适应能力方面的优越性。
NETL