首页|基于改进深度双Q网络的移动机器人路径规划算法

基于改进深度双Q网络的移动机器人路径规划算法

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
针对传统的基于深度双Q学习网络(DDQN)的移动机器人路径规划方法在复杂未知环境中面临的搜索不彻底、收敛速度慢等问题,提出了一种改进的深度双Q网络学习算法(improved deep double Q-network,I-DDQN).首先,利用竞争网络结构对DDQN算法的值函数进行估计.然后,提出了一种基于双层控制器结构的机器人路径探索策略,其中上层控制器的价值函数用于移动机器人局部最优动作的探索,下层控制器的价值函数用于全局任务策略的学习;同时在算法学习过程中使用优先经验回放机制进行数据收集和采样,并使用小批量数据进行网络训练.最后,分别在OpenAI Gym和Gazebo两种不同的仿真环境下与传统的DDQN算法及其改进算法进行了对比分析.实验结果表明,所提的I-DDQN算法在两种仿真环境下的多种评价指标上都优于传统的DDQN算法及其改进算法,在相同复杂环境中能有效克服路径搜索不彻底、收敛速度慢等问题.
Mobile Robot Path Planning Algorithm with Improved Deep Double Q Networks
To solve the problems of the conventional mobile robot path planning method based on the deep double Q-network(DDQN),such as incomplete search and slow convergence,we propose an improved DDQN(I-DDQN)learning algorithm.First,the proposed I-DDQN algorithm uses the competitive network structure to estimate the value function of the DDQN algorithm.Second,we propose a robot path exploration strategy based on a two-layer controller structure,where the value function of the upper controller is used to explore the local optimal action of the mobile robot and the value function of the lower controller is used to learn the global task strategy.In addition,during algorithm learning,we use the priority experience playback mechanism for data collection and sampling and the small-batch data for network training.Finally,we perform a comparative analysis with the conventional DDQN algorithm and its improved algorithm in two different simulation environments,Open AI Gym and Gazebo.The experimental results show that the proposed I-DDQN al-gorithm is superior to the conventional DDQN algorithm and its improved algorithm in terms of vari-ous evaluation indicators in the two simulation environments and effectively overcomes the problems of incomplete path search and slow convergence speed in the same complex environment.

deep learningreinforcement learninghierarchical deep reinforcement learningcompetitive network structurerobot path planningpriority experience playback

张磊、母亚双、潘泉

展开 >

河南工业大学信息科学与工程学院,河南郑州 450001

河南工业大学人工智能与大数据学院,河南郑州 450001

西北工业大学自动化学院,陕西西安 710068

深度学习 强化学习 分层深度强化学习 竞争网络结构 机器人路径规划 优先经验回放

国家自然科学基金青年基金项目河南省重点研发与推广专项(科技攻关)项目

62006071242102210016

2024

10.13976/j.cnki.xk.2024.3090

信息与控制
中国自动化学会 中国科学院沈阳自动化研究所

信息与控制

CSTPCD北大核心
影响因子：0.576
ISSN：1002-0411
年,卷(期)：2024.53(3)