摘要
随着无人机技术的飞速发展，频谱资源的有限性以及静态频谱分配的低效性已成为制约其广泛应用的关键因素。本文充分利用无人机的高机动性和认知无线电技术，结合深度强化学习算法，实时感知频谱环境，分别提出基于单智能体深度强化学习的无人机频谱共享优化研究，以及基于多智能体深度强化学习的认知无人机网络的频谱共享优化研究，实现授权用户频谱资源的动态分配，以提高频谱利用效率，具体研究内容包括: 首先，针对认知无人机通信系统频谱资源稀缺的问题，将无人机作为空中基站，构建了基于单智能体深度强化学习的无人机频谱共享系统。无人机对多个地面基站的频谱资源进行感知，全面考虑空对地信道中视距链路与非视距链路的差异，构建飞行轨迹下的频谱共享模型，通过联合优化频段分配、无人机的发射功率以及服务用户时的位置，实现系统频谱效率最大化。仿真实验结果表明，本文设计的频谱分配优化方案比不考虑频谱分配或误检概率方案的频谱效率分别提高了11.8％和8％，相比双深度神经网络算法和Actor-Critic算法，地面基站受到的干扰分别下降了1.4％和9.3％,显著提升了系统性能。 其次，构建基于多智能体深度强化学习的认知无人机网络的频谱共享系统，包含多架无人机与多个地面基站组成的认知网络。全面考虑无人机的分布状况、无人机间的相互干扰，以及无人机对地面基站的潜在干扰，以确保无人机在协作通信时的安全性。在无人机能量有限的约束条件下，将认知无人机网络的平均吞吐量最大作为优化目标，联合优化频段分配、服务用户优先级、多架无人机的轨迹。仿真验证结果表明，在检测概率阈值为0.95时，本文提出的方案在能量消耗方面相较于随机选择用户服务降低了8.1％,相比于单无人机频谱共享方案，平均吞吐量提高了17.1％，频谱共享性能得到了显著提升。
NETL