深度学习往往伴随着大量的计算,属于典型的高性能计算(HPC)应用.基于Python的深度学习中往往使用PyTorch或者TensorFlow库,环境的配置与管理极为复杂,可重复性低,导致代码的升级、管理、测试、迁移成为大难题.为此,诞生了容器化技术.容器化技术以Docker为代表,通过在迁移代码的同时迁移代码运行环境,从而避免了代码在移植的时候存在繁杂的环境配置过程.但是超算服务器与普通的服务器又有很大的差别,如开发人员无root权限,测试代码时需要进行资源管理(内存,CPU).这些问题都让Docker技术在HPC环境的应用受限,针对以上问题,使用Singularity代替Docker,在神威蓝光II型超级计算机上尝试生成了Python3.7+Numpy+Pandas+Scipy数据科学计算环境的Singularity镜像文件,在阿里云服务器上无root权限创建容器并成功运行了距离判别Python计算程序.结果表明,使用Singularity可以解决Docker在服务器上面的root权限问题,有助于深度学习环境在不同HPC服务器上面的部署.
NETL
NSTL
万方数据
