摘要
随着通信技术的发展，人们对频谱资源的需求不断增长。然而在传统的固定频谱资源分配机制下，有限的频谱资源未被充分利用，人们的通信需求无法得到满足。为了提高频谱资源利用率，缓解频谱资源短缺，认知无线电技术应运而生。认知无线电技术可以实现频谱的动态接入，在不影响主用户(PrimaryUser,PU)通信的前提下，从用户(SecondaryUser,SU)动态地接入空闲频谱进行数据传输。深度强化学习能够解决复杂的动态环境问题，在认知无线电网络中得到了广泛应用。另外，联邦学习作为一种新兴的人工智能技术，也被尝试应用于无线通信研究领域。本文利用深度强化学习和联邦学习对认知无线电网络中的频谱融合和频谱接入进行研究。论文的主要研究工作和创新点如下: 一、系统梳理了认知无线电网络关键技术，简要介绍了深度强化学习和联邦学习的相关理论和算法，为研究工作提供理论和技术支撑。 二、研究了基于频谱感知、频谱共享和频谱聚合的频谱融合技术，以满足SU的带宽需求为前提，将频谱融合技术应用于频谱接入中，提高了频谱效率。 三、针对频谱资源利用率不高的问题，研究了单SU动态频谱接入，提出了适用于单SU的频谱融合方案和基于最大熵的Actor-Critic算法，与深度Q网络算法和随机算法进行对比，从累积折扣奖励和成功接入率两方面验证了所提算法的优越性。另外，在存在优先级区别的多SU动态频谱接入中，综合考虑了每个SU的聚合能力、带宽需求和优先级，提出了一套多SU频谱融合方案，并采用分布式深度强化学习算法实现，仿真结果表明优先级较高的SU的综合性能可以得到有效保障。 四、研究了优先级相同的多SU动态频谱接入问题并提出了对应的频谱融合方案，探索了一种基于联邦学习和深度强化学习的频谱融合算法，即基于联邦学习的最大熵多智能体Actor-Critic算法，通过模型聚合获取多个用户的数据特征，实现了数据特征的共享。仿真结果表明，相比基于最大熵的多智能体Actor-Critic算法和深度Q网络算法,所提算法能够取得更好的性能，多SU的平均成功接入率有所提升。
NETL