首页|基于Gossip的异步分布式训练算法

基于Gossip的异步分布式训练算法

扫码查看
原文链接
  • 万方数据
  • 维普
因此基于Gossip协议并结合SGD(Stochastic Gradient Descent)提出了一种用于深度学习的通信框架GR-SGD(Gossip Ring SGD),该通信框架是非中心化且异步的,解决了通信等待时间较长的问题.实验使用Ima-geNet 数据集,ResNet 模型验证了该算法的可行并与 Ring AllReduce 和 D-PSGD(Decentralized parallel SGD)进行了比较,GR-SGD在更短的时间内完成了训练.
Asynchronous Distributed Training Algorithm based on Gossip

周嘉、涂军、任冬淋

展开 >

湖北工业大学计算机学院,湖北武汉430068

非中心化分布式 Gossip 异步

2023

湖北工业大学学报
湖北工业大学

湖北工业大学学报

CHSSCD
影响因子：0.258
ISSN：1003-4684
年,卷(期)：2023.38(1)
  • 25