摘要
近年来，无人机（ UAV， Unmanned Aerial Vehicle）由于其高机动性和便于部署的优点，可以承载移动通信基站或中继功能，用于辅助固定的移动通信基础设施，扩展其覆盖范围、增加通信容量，并能够在有需要时提供应急通信和灵活组网等，成为促进各种感知、通信和计算技术融合的应用新动力。本文考虑无人机作为空中移动基站（ UAV-BS）为地面用户通信服务的应用场景。由于无人机的通信范围和机载能量都是有限的，因此需要控制多无人机协作移动以提高高效的通信覆盖，并在无人机能量不足时及时飞往充电站获得能量补充。如何为目标区域内的每个用户提供公平合理的长期有效覆盖，这无疑是非常具有挑战性和应用价值的课题。本文的具体研究工作如下展开： （1）首先，考虑到无人机数量有限，且每个用户都有一定的通信需求，无人机需要通过移动为目标区域内用户提供覆盖，用 Jain的公平指数衡量其通信覆盖的公平性。同时，由于无人机的机载能量有限，当无人机能量不足时，可以飞往充电站补充能量。将此多无人机基站公平协同覆盖和能量补充问题建模成马尔科夫决策过程，并提出基于深度强化学习近端策略优化（ PPO， Proximal Policy Optimization）的多无人机飞控调度算法，实时调整每架无人机的移动覆盖和充电决策，为准静态用户提供长期公平的通信覆盖服务。仿真结果验证了与贪婪充电（Greedy）和随机控制（Random）两种常用的基线算法相比，我们所提出无人机公平覆盖和充电算法取得了更好的覆盖性能，在公平指数方面，比两种基线算法分别高出 12％和 3倍多。 （2）在此研究基础上，考虑到目标区域内的用户随机移动性，本文进一步研究面向移动用户的多无人机协作覆盖和充电方法。由于上述基于 PPO的调度算法不太适用于网络规模和用户移动性增加的应用场景，本文采用了基于多智能体深度强化学习的解决方案，设计了基于多智能体深度确定性策略梯度算法(MADDPG， multi-agent Deep Deterministic Policy Gradient)的多无人机协作覆盖和充电算法（MAUC）。采取集中训练、分布式执行的方式，解决了集中式强化学习中每个智能体过分依赖于策略学习导致环境不稳定的问题。仿真结果表明，在公平指数和覆盖次数方面，所提出的多智能体深度确定性策略梯度的算法明显优于上述近端策略优化算法和基线方法。
NETL