摘要
联邦学习是一种分布式设置，它允许各客户端将数据保存在本地的同时，协作训练一个联合的全局模型。因此，联邦学习具有保护隐私数据，分布计算和分布存储等优点。基于这些优点，联邦学习不只局限于理论研究，而同样活跃于现实生产生活，如服务推荐平台，智能工业制造等等。在联邦学习系统中，通信和聚合作为两个主要的性能瓶颈，均具有重要的现实研究意义。因此，本文主要研究内容包含通信和聚合。首先，针对通信，提出了三个算法，即动态通信算法，终端增量通信算法和单元增量通信算法；针对聚合，提出了两个算法，即自适应聚合算法和动态聚合算法；最后，基于所提出的算法，提出了如下三个联邦学习模型。 本文提出的第一个联邦学习模型名为FedDAS（Federated Learning with Dynamic Communication and Self-updating Aggregation）。在这个模型中，本文应用了提出的两个算法，分别是动态通信算法和自适应聚合算法。其中，动态通信算法采用了固定通信间隔与经过约束的可变间隔相结合的方法，使得联邦系统可以在单个学习任务中使用多种通信间隔，以期提升模型性能。自适应聚合算法提出了一个新的聚合权重公式并使得聚合权重自动更新，从而利用了全局模型和局部模型之间的相互影响，以提高任务准确率。此外，自适应聚合算法把额外但很小的计算负担放到功能强大的服务器端而不是资源受限的客户端。本文分别对两个算法进行了实验与分析，并在三个超参数上比较了FedDAS和三个先进的模型。通过进行图像分类实验，结果表明每个算法的表现均优于被比较的算法，且FedDAS模型的性能高于先进的学习模型。 本文提出的第二个联邦学习模型名为FedTAD（Federated Learning with Terminal Incremental Communication and Dynamic Aggregation）。其中，本文应用了两个提出的算法，即终端增量通信算法和动态聚合算法。其中，终端增量通信算法通过引入增量学习的思想，并结合了微调法和特征提取法的优点，使得联邦系统在过大的通信间隔条件下仍能表现优异。动态聚合算法通过配准神经元在分子层面上对模型进行聚合，从而提高了任务准确率。此外，动态聚合算法不仅把额外增加但很小的计算放到功能强大的服务器端而不是资源受限的客户端，还可用于大型的卷积神经网络。 本文基于FedTAD提出了第三个联邦学习模型，名为FedUAD（Federated Learning with Unit Incremental Communication and Dynamic Aggregation）。其中，本文在终端增量通信算法的基础上，另外设计了一个单元增量通信算法。此外，FedUAD中的动态聚合算法与FedTAD中的动态聚合算法在方法上是一致的。本文分别测试并分析了终端增量通信算法，单元增量通信算法和动态聚合算法，接着将FedTAD和FedUAD同其他四个先进的模型（包括FedDAS）进行比较，最后比较分析了FedTAD和FedUAD二者的适用情况。通过进行图像分类实验，结果表明在本地训练轮数较大的情况下，FedTAD和FedUAD仍然表现优异，这证明了它们在保持扩大本地训练轮数与获得高精度的平衡方面的有效性。此外，FedUAD在相对极端的数据分布情况下的表现要优于FedTAD。
NETL