摘要
随着日常生活和生产过程中智能平台的广泛应用，越来越多的智能平台搭载云台相机作为其获取有效视觉信息的重要手段。为了充分发挥云台相机的优良特性，研究云台相机的位姿控制策略具有重要意义。本文针对云台相机位姿控制，研究基于传统PID方法结合群智能算法以及深度强化学习的相机位姿控制算法。论文的主要工作如下: 首先，简介强化学习和深度强化学习的基本概念，对比分析了基于值函数、基于策略梯度和演员-评论家三种强化学习算法的特点，以及典型深度强化学习模型DQN算法的特点。 其次，基于传统PID方法结合群智能算法，提出一种基于改进人工鱼群算法和自适应模糊PID的相机位姿控制算法。设计了云台相机位姿控制技术路线及约束区域;针对人工鱼群算法的缺点，引入了遗传算法进行优化，设计了基于遗传思想的人工鱼群算法。结合改进人工鱼群算法和自适应模糊PID算法进行相机位姿控制实验，并与常规PID和自适应模糊PID控制算法进行对比分析，验证所提算法的有效性。 最后，提出一种基于深度强化学习的云台相机位姿控制算法。分析云台相机位姿控制模型，针对任务需求，设计了状态空间和奖励函数，由状态奖励和时间奖励构成中间奖励，并对成功和失败的最终奖励重新赋值，引导智能体尽早收敛;通过创建成功经验池和失败经验池，提出一种基于自适应优先经验回放方法，提升训练效果，并探讨了网络结构、学习率以及成功经验抽取比例等超参数对训练结果的影响。通过场景训练和测试，将所提出的改进TD3算法与DDPG算法、常规TD3算法进行对比分析，测试结果表明所提算法的有效性。
NETL