摘要
移动机器人在物流仓储、抢险救灾等众多领域有广泛的应用前景，受到了研究人员的重点关注。未知环境带来的不确定性给移动机器人的自主探索提出了巨大的挑战。如何高效实现移动机器人在未知环境的自主探索具有非常大的研究价值和实际应用价值。近几年兴起的强化学习算法给在未知环境下的自主探索问题提供了新的思路和解决办法。因此，本文通过对未知环境的强化学习自主探索方法进行研究，来解决这一问题并取得有效的结果。 本文基于全局感兴趣点设计对强化学习自主探索算法 TD3 进行改进。具体的，本文移动机器人自主探索算法可以分为全局路径规划和局部路径规划两大部分。在全局规划部分，基于激光雷达信息完成感兴趣点的自适应设置，然后把得到的感兴趣点当作中间节点来继续进行后面的局部路径规划。在局部路径规划部分，本文对 TD3 算法进行改进，利用残差网络的结构，将输入信息和移动机器人的动作合并后再输出到评价者（Critic）网络中，使输入信息和机器人的动作的信息损失降低到最少，减少梯度爆炸或者消失的风险，提高网络的效率和稳定性。同时将离障碍物的最小距离添加到奖励函数中，使网络对状态的评估更加准确，选择尽量远离障碍物的动作，减少移动机器人与障碍物的碰撞，提高自主探索的效率和成功率。 本文使用强化学习的自主探索技术，在仿真环境中进行训练和测试，并将其迁移到真实环境中进行测试。首先在有行人和无行人的仿真环境中，将结合感兴趣点的 TD3 改进算法和 DDPG 算法、TD3 算法进行对比，实验结果证明了改进后的方法在导航的成功率和碰撞率方面的表现要比未改进的方法更好，可以在有行人和无行人的环境下高效的完成自主探索任务。然后在真实场景下对有行人不同运动方式和无行人的未知环境中的自主探索任务进行测试，验证了本文方法的实际自主探索效果。
NETL