摘要
随着无线通信技术的发展以及各种通信接入设备的增多，当前固定的频谱分配政策极大的限制了对有限频谱资源的利用。认知无线电技术允许认知用户机会式地利用环境中的空闲频谱资源，有利于提高频谱利用率，因而受到了广泛的关注与研究。同时，以学习并获取最佳动作选择策略为目标的强化学习算法能够极大提高系统的智能性，在自动控制和资源优化等领域受到了广泛应用。本文研究了基于强化学习的认知无线电动态频谱接入算法，实现了对有限频谱资源的智能化利用，从而提升系统的通信性能。 本文主要研究内容如下： 首先，提出了基于强化学习的单信道频谱接入方案，优化频谱选择策略。使用Q学习算法，针对Overlay、Underlay以及协作频谱接入三种接入模式提出了智能分配频谱资源的方法。采用了先感知后传输的传输帧结构，避免认知用户盲目接入信道对授权用户产生干扰。定义了频谱访问模式的Q学习模型，包括频谱状态向量、认知用户的动作向量以及在不同频谱状态下的频谱访问奖励。仿真结果表明，与Overlay和Underlay两种接入方式相比，协作频谱接入具有高吞吐量、低干扰功率和低中断率等优点。 其次，提出了基于强化学习的多信道频谱接入方案，利用多信道传输来减少认知用户的中断概率。结合Thompson采样算法，对信道空闲概率进行预测，按照预测值对信道进行降序排序，使得认知用户在频谱感知时更快的找到空闲信道。对信道剩余空闲时长进行了预测，减少认知用户在空闲时间内的感知次数和切换次数，并使认知用户及时退出信道避免对授权用户造成干扰。仿真结果表明，该方案在提高认知用户吞吐量、降低认知用户中断率、降低冲突概率和频谱切换频率等方面表现良好。 最后，提出了基于强化学习的非正交多址频谱接入方案，从避免干扰和保证认知用户吞吐量出发，提高系统的传输性能。不同于正交多址接入中一份频谱资源只能被一个用户使用，非正交多址接入中一份频谱资源可以被多个用户同时使用，并在功率域上对各个用户的信号进行区分，这样可以同时提高频谱利用率以及认知用户的吞吐量。基于Q学习算法，认知用户学习去使用大于信道中授权用户的传输功率，在解调时利用串行干扰消除技术消除认知信号对授权用户信号的干扰，大大减少了对授权用户的干扰。仿真结果表明，对比基于Q学习的正交多址频谱接入方案，基于Q学习的非正交多址频谱接入方案在保证认知用户吞吐量、降低认知用户中断率和减少对授权用户干扰方面具有优势。
NETL