摘要
随着物联网的不断发展，大量的物联网设备被部署在各个领域，而无人机的引入为系统提供了强大的灵活性和多样性。通过无人机与移动边缘计算的结合，使得物联网设备数据可以被更高效地收集和传输。然而，随着物联网场景规模和复杂性的增加，单一无人机在执行某些任务上的局限性逐渐显现，多无人机协同体现出巨大优势，但同时也面临复杂度增加、动态变化等一系列挑战，而传统算法往往难以准确建模和适应多无人机系统中的不确定性。作为与环境交互来自主学习决策的强化学习算法逐渐崭露头角，能够有效应对复杂多变的环境和任务需求。因此，本文针对多无人机辅助的移动边缘计算系统中的优化问题，讨论使用多智能体强化学习来解决和优化，并考虑引入其他设备来进一步提高效率。具体研究内容如下： （1）本文研究了多无人机辅助的移动边缘计算系统中，使用多无人机收集地面用户设备数据。通过规划多无人机的轨迹，以最大限度地提高多个地面用户设备的体验质量和服务公平性。由于实际通信环境复杂且时变，多架无人机动态自主决策具有挑战性。同时，集中决策方案也会产生一定程度的传输延迟，影响所考虑系统的效率。因此，考虑到这些挑战，为了解决所提出的问题，本文提出了一种使用多智能体深度确定性策略梯度（Multi-AgentDeepDeterministicPolicyGradient，MADDPG）的多智能体深度强化学习算法，通过优化飞行角度和距离来设计无人机的飞行轨迹。仿真结果表明，所提出的解决方案优于传统算法。 （2）本文研究了在物联网场景中部署大量传感器节点，使用无人机和无人车以灵活的方式协同收集来自传感器节点的数据。在所考虑的场景中，为了最大限度地减少数据收集延迟，首先使用迭代自组织数据分析技术算法将传感器节点分簇，由簇头提前从传感器节点收集数据，以减少传输延迟。随后本文提出了一种多无人车哈密顿轨迹规划算法来设计无人车的轨迹。在簇头向无人车传输数据后，利用无人机从无人车收集数据，并将数据传输到远程基站或接入点。相应地，本文提出了一种多智能体深度强化学习算法，利用MADDPG来设计无人机的飞行轨迹。仿真结果显示了提出的算法的优势，与传统算法相比，所提出的方案具有更好的性能。
NETL