首页|通过网内模型参数分发加速分布式模型的训练分析

通过网内模型参数分发加速分布式模型的训练分析

扫码查看
阐述一种基于随机舍入的下行链路通信优化方案,其算法实现近似系数为O(logIVI),其中V为可编程交换机的数量.通过算法模拟的大规模实验结果表明,与最先进的解决方案相比,此方案可以减少14.5%~35.8%的下行链路通信开销.
Analysis of Accelerating Training of Distributed Models through Intra Network Model Parameter Distribution
This paper a downlink communication optimization scheme based on random rounding,with an algorithm implementation approximation coefficient of O(logIVI),where V is the number of programmable switches.The large-scale experimental results through algorithm simulation show that compared with state-of-the-art solutions,this scheme can reduce downlink communication overhead by 14.5%to 35.8%.

distributed model trainingintra network computingmulticast transmission

詹韩峰、徐宏力

展开 >

中国科学技术大学计算机科学与技术学院,安徽 230027

中国科学技术大学苏州高等研究院,江苏 215123

分布式模型训练 网内计算 多播传输

2024

电子技术
上海市电子学会,上海市通信学会

电子技术

影响因子:0.296
ISSN:1000-0755
年,卷(期):2024.53(2)
  • 4