摘要
智能设备的日益普及，机器学习的不断发展以及网络数据的指数级增长给无线通信网络数据的收集、传输与处理带来了如下挑战：机器学习技术的发展离不开巨量数据的驱动，然而随着互联网用户对于数据隐私和信息安全重视程度的不断提高，无线网络中持有数据的分布式客户端节点出于对隐私泄露的担忧，向服务器传输数据的频率逐渐降低甚至拒绝传输数据，这导致大多数行业的数据逐渐呈现孤岛现象。由此，可有效保护分布式数据隐私的联邦学习框架应运而生。然而，无线网络节点在参与联邦学习的过程中，通常由于严格的隐私保护机制导致训练所得模型的准确度有一定程度的降低；资源受限的节点对数据的本地训练也会产生较高的能耗，加之当今世界对于节约能源越来越迫切的需求，研究无线通信网络如何在保护隐私和降低能耗的考量下高效处理和训练分布式数据具有重要意义。 本文旨在实现基于用户隐私性、模型准确性以及能耗均衡的无线通信网络能量与数据联合优化管理目标。为解决无线分布式系统中客户端节点由于隐私安全不能得到保障而导致数据无法有效收集并训练的问题，本文引入联邦学习技术，目的是使服务器可在受信任的环境中使用客户端节点的数据。与此同时，为解决在无线网络中引入联邦学习带来的新问题：客户端节点在本地训练模型产生的能耗较大和加密后的梯度数据可用性降低。本文对如何平衡模型准确性、用户隐私以及能量消耗之间的关系进行了分析，提出了将传统的集中式学习与联邦学习结合使用的优化思路。本文将适用范围更广的移动数据采集设备作为学习服务器，将客户端节点作为学习参与者，设计了一个基于联邦学习的优化框架，并部署于无线通信网络中。 本文基于部署的优化框架，首先以客户端节点为优化对象，将客户端节点在数据传输过程中的能量与数据状态变化过程建模为马尔科夫决策过程（Markov decision process,MDP）模型。求解该优化模型的具体目标是通过最大化客户端节点的长期效用以使用户隐私、模型准确性以及能量利用效率三者之间的关系达到最优平衡。本文提出了值迭代算法对所建模型进行初步求解，针对实际场景中高维状态空间的情形，进一步提出了深度Q网络（Deep Q Network，DQN）学习算法用于模型的近似求解，分别得到了基于上述两种算法的客户端节点能量管理与数据传输优化策略，并通过仿真实验对所提的两种策略进行了不同维度的性能评估。实验结果表明，本文提出的客户端节点能量与数据联合优化管理策略可在平衡数据隐私性和可用性的同时，降低数据延迟和能耗成本。 本文进一步在无线通信网络场景下提出了基于优化框架的分层决策机制，分析了无线网络中状态耦合的分层节点间动态的分层决策过程，将无线网络中的服务器和客户端节点都作为优化对象，并为上层服务器和下层所有客户端节点间分别建立MDP模型。上层服务器为实现训练高准确度模型的系统总目标，需在控制自身能耗成本的同时，通过高质量信道资源作为回报，激励下层客户端节点实现服务器为其设定的子目标，而下层的客户端节点在完成子目标的同时也需考虑自身隐私、能耗等因素的影响。本文设计部署分层深度Q网络（Hierarchical Deep Q Network，H-DQN）学习算法求解系统模型，并进行仿真实验。实验结果表明，本文基于H-DQN算法得出的服务器能量与信道资源管理策略和客户端节点能量管理与数据传输策略可使系统在隐私保护、数据传输与训练效率、以及能量消耗间达到良好平衡。
NETL