摘要
未来的智能信息社会是一个高度数字化和全球数据驱动的社会，无线通信在其中起到非常关键的作用。随着智能终端的快速发展和新应用的不断涌现，无线数据流量急剧增加，第六代（The Sixth Generation, 6G）移动通信系统将是满足快速增长的无线通信新需求的重要技术。6G需要提供全方位无线覆盖，因此在结构上融合空、天、地和海四层网络的“空天地海一体化通信”技术逐渐成为6G的核心技术之一。无人机（Unmanned Aerial Vehicle, UAV）辅助无线通信作为空基的重要组成部分，对现有的地面通信系统进行了有效补充，通过正确部署和操作可以为各种现实场景提供可靠和经济的无线通信解决方案。此外，由于频谱资源短缺，将毫米波（Millimeter-wave, mmWave）应用于无人机和大规模多输入多输出（Multiple Input Multiple Output, MIMO）技术，经过合理的规划设计可以创造一种全新的动态飞行蜂窝网络来提供高容量的无线通信服务。本文主要研究了毫米波环境下无人机辅助通信技术的问题。 本文建立了无人机辅助通信的系统模型与空对地信道模型，在无人机和地面用户均配备大规模MIMO天线阵列的通信场景下，研究了毫米波频段无人机辅助通信的优化问题，并分析了所提方案的优化性能。首先对视距链路（Line of Sight, LoS）下的无人机辅助通信系统进行研究，其中无人机作为空中基站为一个静止地面用户提供服务，将通信过程建模为马尔可夫决策过程。在该模型下，本文采用强化学习中的时序差分算法对无人机的轨迹进行优化从而提升系统性能，并针对强化学习算法中的各个学习参数进行仿真分析进而选择最优值以最大化强化学习算法的优势。其次，对无人机作为空中基站服务一个移动地面用户的通信系统进行研究，将无人机与用户的通信信道建模为莱斯信道，采用多臂赌博机（Multi-armed Bandit, MAB）与Q-learning算法对无人机基站的预编码及轨迹进行联合优化从而提升系统的通信性能，与已有的悬停飞行场景中进行预编码的方案相比，该优化方案能显著提高通信系统的性能。最后，针对无人机基站服务多个静止地面用户的场景进行研究，其中无人机与每个用户之间的信道建模为视距信道，将预编码的优化问题建模为图论的最大权值匹配问题，继而引入组合式多臂赌博机（Combinatorial Multi-armed Bandit, CMAB）算法与Q-learning算法学习无人机基站端预编码与轨迹的联合优化方案，仿真分析可得该方案能有效提高无人机基站与多个地面用户的通信系统的性能。
NETL