摘要
随着移动设备数量和移动网络数据流量需求的爆炸式增长，频谱资源的供求矛盾不断加剧，如何利用有限频谱资源满足海量用户设备对高速率、低时延的需求成为了未来移动通信系统的关键问题。异构无线网络通过融合不同类型的网络来提高系统容量，并结合频谱共享技术提高频谱效率。无人机有着部署灵活、移动性可控、低成本等特点，由无人机组成的异构无线网络不仅能按需部署、就近接入，还能满足热点地区突发的容量需求。因此该网络下的资源分配就变得更加灵活与复杂，并成为了移动通信的研究热点。本文利用无人机组成双层异构网络，使用深度强化学习方法对该网络下的资源分配技术进行了深入研究，主要创新工作如下： (1)考虑无人机辅助双层异构网络中下行链路的同层频谱共享问题，小蜂窝内用户链路数量固定，且分为高优先级用户链路和低优先级用户链路，低优先级用户链路复用高优先级用户链路共享的频谱资源。针对不同优先级用户链路之间的频谱共享问题，提出了一种基于Zero-Gamma的多智能体演员-评论家资源分配方案。以最大化系统容量为目标，该方案将频谱共享问题建模为强化学习过程，利用深度强化学习算法学习最优资源分配方案。所提出方案考虑问题本身满足最优子结构的特性，通过将折扣因子γ置为0，从而舍弃学习目标中未来累计奖励部分，直接对即时奖励进行拟合，消除了深度强化学习中学习目标的估计误差。所有智能体共享一个全局的Critic，精简了算法架构、减少了模型数量。通过数值仿真分析，所提出方案取得了与算法上界接近的性能，同时模型参数减少了近75%。进一步分析了方案的收敛性、稳定性、性能表现和学习策略的正确性，从而验证了所提出方案的有效性。 (2)考虑无人机辅助双层异构网络中上行链路的跨层频谱共享问题，数量动态变化的小蜂窝链路复用宏蜂窝链路的频谱资源。在保证宏蜂窝链路质量的前提下，尽力完成小蜂窝链路的数据传输任务。针对宏蜂窝与小蜂窝之间的频谱共享问题，提出了一种基于动作掩码的协作小批量多智能体深度强化学习资源分配方案。为了使方案可拓展并适用于动态变化的链路数量，所有智能体共享同一个全局模型。同时得益于独立的状态和全局的奖励设计，方案基于一种集中式训练、分布式执行框架运行，智能体之间以分布式的方式进行协作。数值仿真分析表明，所提出方案比其他基线方案取得了更好的性能，可以稳定地提高整个系统的性能。进一步分析了所提出方案的收敛性、超参数鲁棒性、模型适用性和学习策略的正确性，从而验证了所提出方案的有效性。
NETL