摘要
随着第五代(5G)通信系统中无线数据传输量和移动设备数量的不断增加，蜂窝网络需要越来越多的基站来满足更高系统容量的需求。然而，由于严重的共信道干扰，有限的无线资源无法支持大规模的基站同时有效地传输数据，这是大型密集网络中的一个突出问题。因此，设计合理的无线资源分配和干扰管理策略对于提高系统数据容量至关重要。由于优化问题的非凸性和大规模的特点，传统的集中式算法需要的系统数学模型难以准确刻画，计算复杂度在实践中难以被接受。 本文研究了基于多智能体深度强化学习(DeepReinforcementLearning,DRL)的下行蜂窝网络中的动态功率分配问题，其中每个基站和用户之间的下行链路被建模为学习的智能体，以学习最优功率分配策略，最大化系统总速率。功率分配问题被转化为多智能体马尔可夫决策过程，以通过分布式的深度强化学习算法去解决。本文重点关注了学习过程中奖励函数和状态空间的可扩展性，以适应5G环境下网络规模的变化，例如服务基站或者接入用户数量，以及蜂窝小区覆盖区域的变化。此外，本文还评估了不同学习超参数对算法性能的影响。最后通过不同场景下的数值仿真结果验证了深度强化学习算法的有效性和相比于传统集中式算法的优越性。 本文同时研究了如何为移动中的用户分配功率的问题。在用户保持固定位置但信道持续变化的研究基础上，将系统模型进一步扩展，考虑了用户的移动性和分配策略到达用户端的时延，模型更加贴近实际；针对移动用户的场景，本文提出了有时延的集中式训练分布式执行的学习框架，基于深度确定性策略梯度算法和深度Q学习算法为用户快速确定传输的功率值。本文使用了一种降低学习状态空间的预处理方法，在此基础上，设计了可扩展的奖励函数形式。通过数值仿真验证，本文提出的深度强化学习算法在考虑时延的前提下，性能超过了具有理想信道模型的传统优化算法；本文还模拟了不同的测试环境，深度强化学习算法的性能均优于传统的优化算法。
NETL