首页|异构分布式深度学习平台的构建和优化方法研究

异构分布式深度学习平台的构建和优化方法研究

Research on the construction and optimization of heterogeneous distributed deep learning platform

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
深度学习与大数据技术的结合在资源管理、任务调度等方面还存在许多问题,有待解决与优化.针对异构资源管理能力弱、原生调度算法灵活性差、多框架缺少统一的使用接口3 个问题,提出了一种异构资源下分布式深度学习框架整合平台,并对任务调度算法的优化进行研究.平台以Spark框架为基础,向下对异构资源进行拓展与管理,向上整合了SparkOnAngel与TensorFlowOnSpark 2 种框架,使用物理标注的方法,为挂载不同计算资源的机器打上不同的标签,并借助资源模型的双重表示,进行调度算法优化.结果表明:该平台与传统的spark集群相比,在5 个minist_spark与5 个WordCount混合任务场景下,执行耗时降低13.4%;在大批量的WordCount任务场景下,当作业量达到60 时,执行耗时可降低至 32.31%.平台能够扩展对GPU资源的管理,调度算法更加灵活高效,可为多个框架提供统一的调用接口.

heterogeneousscheduling algorithmresource managementunified interface

胡昌秀、张仰森、彭爽、陈涵、祁浩家

展开 >

北京信息科技大学 智能信息处理研究所,北京 100101

国家经济安全预警工程北京实验室,北京 100044

东北师范大学 文学院,长春 130022

异构 调度算法 资源管理 统一接口

国家社科基金重大项目

21&ZD287

2023

10.3969/j.issn.1674-8425(z).2023.09.024

重庆理工大学学报
重庆理工大学

重庆理工大学学报

CSTPCD北大核心
影响因子：0.567
ISSN：1674-8425
年,卷(期)：2023.37(17)
  • 14