摘要
随着各种终端设备和移动应用程序的激增，无线网络中的数据流量呈现出指数级的增长，导致移动通信网络承受越来越大的负载压力。在雾无线接入网（FogRadioAccessNetworks，F-RANs）中，由于其靠近终端用户的雾接入点（FogAccessPoint，F-AP）具有计算和缓存能力，能够提前存储内容并直接给用户提供服务，大大降低了用户的内容请求延迟和回程链路的流量压力。但是单个F-AP的缓存能力有限，为了充分利用缓存资源，提高用户的服务体验，多个F-AP之间的协作缓存成为了研究关键。同时，学习类算法已经成为人们用来解决传统优化方法难以解决的问题的常用工具。因此，本文将采用学习类算法研究F-RANs中的协作缓存方法。 首先，在单个F-AP缓存容量有限的情况下，研究了基于深度强化学习（DeepReinforcementLearning，DRL）的协作缓存方法。为了描述动态的网络环境和时变的用户内容请求，构建了协作缓存场景的网络和延迟模型。基于马尔可夫决策过程（MarkovDecisionProcess，MDP），对单个F-AP的内容缓存替代过程进行建模。然后，采用竞争深度Q网络（DuelingDeepQNetwork，DuelingDQN）对单个F-AP的缓存替代模型进行训练，训练得到的强化学习代理会指导F-AP对用户发来的内容请求进行应答并完成自身的缓存内容更新。仿真结果表明，提出的基于DuelingDQN的协作缓存方法能够自适应地学习动态的网络环境和时变的用户内容请求，相比于传统的缓存策略能够实现更高的缓存命中率和更低的内容请求延迟。 其次，在多F-AP缓存场景中，研究了基于联邦强化学习的协作缓存方法。考虑到单个F-AP的计算和缓存能力有限，将强大的云服务器和拥有多个F-AP的边缘层结合起来，部署联邦学习（FederatedLearning，FL）框架。云服务器将初始DRL模型分发给各个F-AP，每个F-AP根据自身数据集训练模型，然后，云服务器会对所有训练好的局部模型进行聚合，得到全局模型后再次分发给每一个F-AP，不断重复该过程直到全局模型收敛。仿真结果表明，与各自独立训练DRL模型的方法相比，提出的方法实现了多个F-AP本地DRL模型的协作训练，加快了模型训练速度，在降低用户请求延迟和提高F-AP缓存命中率上，具有更好的网络性能。同时，提出的模型训练框架，让用户数据始终停留在本地F-AP就完成了模型训练，保护了用户数据隐私。 最后，对基于联邦强化学习的协作缓存方法的通信效率问题进行了研究。FL保护用户数据隐私是以巨大通信资源消耗为代价的。为了提高联邦强化学习的通信效率，提出了三个关键改进：一是对协作训练的DRL模型进行周期性模型聚合，增大全局聚合的通信间隔，减少通信轮次；二是随机选取部分F-AP参与全局模型聚合；三是对参与全局聚合的局部模型进行量化压缩处理。基于三个关键改进，提出了一种基于量化的联邦强化学习的协作缓存方法。仿真结果表明了所提出的方法相比于传统缓存策略在提升网络性能方面的优越性。同时，和传统的联邦强化学习算法相比，传输的模型参数大大减少，网络负载更加轻量化，在模型精度损失很小的情况下达到了相同的网络性能。
NETL