计算机研究与发展2022,Vol.59Issue(11) :2395-2407.DOI:10.7544/issn1000-1239.20220526

基于秘密共享和压缩感知的通信高效联邦学习

Communication-Efficient Federated Learning Based on Secret Sharing and Compressed Sensing

陈律君 肖迪 余柱阳 黄会 李敏
计算机研究与发展2022,Vol.59Issue(11) :2395-2407.DOI:10.7544/issn1000-1239.20220526

基于秘密共享和压缩感知的通信高效联邦学习

Communication-Efficient Federated Learning Based on Secret Sharing and Compressed Sensing

陈律君 1肖迪 2余柱阳 黄会 李敏
扫码查看

作者信息

  • 1. 重庆大学计算机学院 重庆 400044
  • 2. 信息物理社会可信服务计算教育部重点实验室(重庆大学) 重庆 400044
  • 折叠

摘要

深度学习技术的快速发展给我们带来了极大的便利,但同时也导致大量隐私数据的泄露.联邦学习允许客户端在只共享梯度的情况下联合训练模型,这看似解决了隐私信息泄露问题,但研究表明联邦学习框架中传输的梯度依然会导致隐私信息泄露.并且,联邦学习的高通信代价的特点难以适用于资源受限的环境.为此,提出了 2个通信高效且安全的联邦学习算法,算法使用Top-K稀疏及压缩感知等技术以减少梯度传输造成的通信开销,另外利用安全多方计算中的加法秘密共享对重要的梯度测量值加密,以实现在减少通信开销的同时进一步增强其安全性.2个算法的主要区别是客户端与服务器通信时传递的分别为梯度测量值与梯度测量值的量化结果.在MNIST及Fashion-MNIST数据集上的实验表明,与其他算法相比,本文所提的算法在保证通信代价较低的情况下进一步增加了安全性,同时在模型准确性上也有较好的性能.

关键词

压缩感知/安全多方计算/联邦学习/高效通信/资源受限

引用本文复制引用

基金项目

国家自然科学基金(62072063)

国家重点研发计划(2020YFB1805400)

重庆市研究生科研创新项目(CYB21062)

出版年

2022
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
被引量7
参考文献量4
段落导航相关论文