摘要
腿足式机器人与轮式和履带式机器人相比具备极大的动作空间，能够更好地适应复杂的地形，有效跨越障碍物，并可以应用于探索、搜救、运输等多种领域，从而发挥出更大的作用。四足机器人又以其简单的构造、强大的适应能力、卓越的动态响应速度，使其成为腿足式机器人中的研究热点。 近几年以来，对四足机器人的研究持续升温，大到工业应用，小到机器人教育，但目前四足机器人发展还不够完善。四足机器人控制方法中有采用模型预测控制方法，在四足机器人上搭载有较好表现，但上层规划器由控制器控制方向，不能自主给机器人输入运动参数，缺乏一定智能性。为了提升四足机器人的运动性能及智能性，本文基于分层强化学习的思想，建立一个分层的强化学习框架，将强化学习应用于四足机器人的控制，以实现更加智能的四足机器人的步态规划。基于分层强化学习能够由上层规划器为机器人规划运动参数，再由下层进行控制，拓展了机器人的适用场景。本文的主要研究内容如下： （1）四足机器人运动学、动力学分析及物理建模。利用D-H方法分析四足机器人的正逆运动学，并进一步对机器人的动力学进行简化分析。在Matlab/Simulink中搭建了四足机器人的物理仿真模型，并通过仿真验证了推导运动学的正确性。为四足机器人的步态规划和运动控制提供了理论依据。 （2）分层强化学习框架及上层规划控制器设计。基于分层强化学习方法设计四足机器人运动控制分层强化学习框架，将四足机器人控制任务分解为上层规划任务和下层控制任务，由上层为下层提供机器人运动参数，下层根据输入对电机进行控制。上层规划层基于深度确定性策略梯度（DDPG)算法进行设计，对其状态采集、奖励函数、终止条件等方面进行设计，并在Simulink中构建强化学习可视模块。 （3）下层控制器设计。将四足机器人行走分为支撑腿与摆动腿，根据上层输入的运动参数，支撑腿基于模型预测控制（MPC）方法构建优化问题，并简化成二次规划（QP）问题，求解最优足端力；摆动腿控制设计足端复合轨迹，使用PD控制器虚拟足端力。最后，通过足端力反解得到各电机所需输出扭矩，并对机器人加以控制。 （4）实验对比分析。在前文理论基础上，本文分别对基于深度强化学习和基于分层强化学习的四足机器人步态规划进行仿真实验。对两组实验的行走稳定性、训练速度、能耗水平方面的数据进行对比分析，验证机器人在分层强化学习框架下控制的有效性与优越性。
NETL