湖北工业大学学报2023，Vol.38Issue(1) ：43-46,58.

基于Gossip的异步分布式训练算法

Asynchronous Distributed Training Algorithm based on Gossip

周嘉 涂军 任冬淋
湖北工业大学学报2023，Vol.38Issue(1) ：43-46,58.
✕
  • 维普
  • 万方数据

基于Gossip的异步分布式训练算法

Asynchronous Distributed Training Algorithm based on Gossip

周嘉 1涂军 1任冬淋1
扫码查看

作者信息

  • 1. 湖北工业大学计算机学院,湖北武汉430068
  • 折叠

摘要

因此基于Gossip协议并结合SGD(Stochastic Gradient Descent)提出了一种用于深度学习的通信框架GR-SGD(Gossip Ring SGD),该通信框架是非中心化且异步的,解决了通信等待时间较长的问题.实验使用Ima-geNet 数据集,ResNet 模型验证了该算法的可行并与 Ring AllReduce 和 D-PSGD(Decentralized parallel SGD)进行了比较,GR-SGD在更短的时间内完成了训练.

关键词

非中心化分布式/Gossip/异步

引用本文复制引用

出版年

2023
湖北工业大学学报
湖北工业大学

湖北工业大学学报

CHSSCD
影响因子：0.258
ISSN：1003-4684
参考文献量25
段落导航相关论文