机器学习和深度学习的并行训练方法

扫码查看

原文链接

NETL
NSTL
万方数据
维普

中文摘要：并行计算技术广泛用于对一些特定问题进行更进一步的优化,从而突破性地降低算法的时间消耗.近年来,随着大数据和人工智能的快速发展,在进行大规模深度学习模型的训练时,时间消耗成为一个重要的考虑因素.在模型的训练过程中,由于各个样本之间互不相关的性质,使得模型的训练过程可以利用并行技术来很好地优化.本文以最基础的线性回归作为模型的任务,测试了并行化方法在深度学习模型中的可行性,并对比了不同节点下的性能提升幅度.本文所提出的并行训练方法的时间复杂度为O(m k×P+k× ϵ,根据该时间复杂度,可以合理地根据待解决问题的规模来选择合适的并行化策略.)

外文标题：Parallel Training Methods for Machine Learning and Deep Learning

作者：

祝佳怡

展开 >

作者单位：

西南民族大学计算机科学与工程学院,成都 610225

关键词：

并行计算机器学习深度学习最优化

出版年：

2022

DOI：

10.3969/j.issn.1007-1423.2022.14.006