首页|基于边缘的联邦学习模型清洗和设备聚类方法

基于边缘的联邦学习模型清洗和设备聚类方法

Edge-Based Model Cleaning and Device Clustering in Federated Learning

扫码查看
原文链接
  • NETL
  • NSTL
  • 维普
  • 万方数据
参与联邦学习的终端设备只需在各自的本地数据集上训练本地模型,并在服务器的协同下共同训练一个全局预测模型.因此,联邦学习可以在不共享终端设备的隐私和敏感数据的情况下实现机器学习的目的 .然而,大量终端设备对服务器的高并发访问会增加模型更新的传输延迟,并且本地模型可能是与全局模型收敛方向相反的恶意模型,因此联邦学习过程中会产生大量额外的通信成本.现有工作主要集中在减少通信轮数或清除本地脏数据,本文研究了一种基于边缘的模型清洗和设备聚类方法,以减少本地更新总数.具体来说,通过计算本地更新参数和全局模型参数在多维上的余弦相似度来判断本地更新是否是必要的,从而避免不必要的通信.同时,终端设备根据其所在的网络位置聚类,并通过移动边缘节点以簇的形式与云端通信,从而避免与服务器高并发访问相关的延迟.本文以Softmax回归和卷积神经网络实现MNIST手写数字识别为例验证了所提方法在提高通信效率上的有效性.实验结果表明,相比传统的联邦学习,本文提出的基于边缘的模型清洗和设备聚类方法减少了60％的本地更新数,模型的收敛速度提高了10.3％.

刘艳、王田、彭绍亮、王国军、贾维嘉

展开 >

北京师范大学人工智能与未来网络研究院 广东珠海519000

北京师范大学-香港浸会大学联合国际学院广东省人工智能与多模态数据处理重点实验室 广东珠海519000

华侨大学计算机科学与技术学院 福建厦门 361021

湖南大学信息科学与工程学院 长沙410000

国家超级计算长沙中心 长沙410000

广州大学计算机科学与网络工程学院 广州 510000

展开 >

联邦学习 移动边缘计算 模型清洗 聚类 余弦相似度

本课题得到国家自然科学基金福建省自然科学基金UIC科研启动项目广东省教育厅普通高校重点领域专项项目珠海市产学院合作项目

621720462020J06023R720212022021ZDZX1063ZH22017001210133PWC

2021

10.11897/SP.J.1016.2021.02515

计算机学报
中国计算机学会 中国科学院计算技术研究所

计算机学报

CSTPCDCSCD北大核心
影响因子：3.18
ISSN：0254-4164
年,卷(期)：2021.44(12)
  • 9
  • 3