摘要
随着机器人技术与医疗领域结合的不断深入，医疗辅助机器人逐渐成为提高医疗服务质量和效率的重要手段。人机交互的柔顺性是医疗机器人与身体接触时的首要目标，其自适应调整力度和动作的能力可以确保接触过程中的安全性与舒适性。然而，由于人体形态的差异性以及环境变化的不可预测性，在面对与人接触或应对复杂多变的动态环境时，医疗机器人的柔顺控制面临着诸多挑战。近年来，深度强化学习凭借其出色的学习和决策能力，成为机器人控制领域的重要技术手段。因此，本文针对医疗康复按摩机器人的柔顺控制展开研究，利用深度强化学习算法提高机械臂在复杂动态场景中的适应性、鲁棒性和自我优化能力。基于上述内容，本文主要研究内容如下: (1)针对背部康复按摩场景中的全覆盖按摩路径下力交互问题，本文提出了一种基于SAC算法的机械臂柔顺控制方法。首先，根据任务需求搭建了一个机械臂按摩背部的仿真场景，并根据按摩特点设计了覆盖背部全身的按摩路径。其次，为了提高机械臂柔顺按摩的控制策略，将该任务建模为深度强化学习中的马尔可夫决策过程，根据具体任务设计状态空间、动作空间及最优奖励函数。最后，引入了SAC算法完成静态场景下按摩的训练过程，通过实验证明机械臂可以在预定的路径下移动按摩的同时，能够与身体仿真模块间保持恒定的接触力，力误差在0.1N以内。 (2)针对动态场景下控制机械臂完成背部康复按摩的问题，本文提出了一种基于SAC算法的机械臂柔顺控制方法。考虑到实际按摩中人体的呼吸活动会导致背部产生上下微小起伏的动态变化，在上一研究内容的基础上搭建动态周期性变化的背部按摩仿真场景。针对该特定场景的具体要求，优化了状态空间和奖励函数的设计。在动态场景下的按摩任务利用SAC算法对机械臂进行训练，实验证明了机械臂末端能够实时恒力跟踪仿真模块的动态变化，很好地实现了动态场景下与身体仿真模块间的恒定接触力，力误差在0.1N以内。 (3)针对实际按摩中因环境变化等导致的不确定性问题，本文提出了一种结合PID前馈补偿与SAC算法的机械臂控制方法，该方法较好地实现动态不确定性场景下的机械臂柔顺控制。根据任务的实际需求，在周期性变化的动态场景基础上增加扰动因素来模拟环境和系统的不确定性。在深度强化学习的框架下，利用PID控制算法补偿人机交互中由于不确定性导致的控制输入偏差，从而降低环境扰动所带来的影响。经过实验验证，机械臂能够在有环境扰动的动态场景下实现与身体仿真模块较稳定的接触力，力误差在0.3N以内，提高了在环境扰动中机械臂按摩的适应能力。 本文所提出的机械臂柔顺控制策略在Pybullet仿真平台完成训练，并在仿真环境中进行了大量测试。通过对泛化实验和对比实验结果的分析，最终证实了所提出方法的有效性与鲁棒性。
NETL