首页|SCE大数据平台接入的研究与实现

SCE大数据平台接入的研究与实现

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
SCE是中国科学院计算机网络信息中心自主研发的用于聚合各超算中心、高校、研究所高性能计算机资源的科学计算中间件.大数据技术近年来飞速发展,SCE的用户在海量数据处理与大数据计算上的需求日益提升.为了解决这个问题,我们希望可以实验性的将大数据平台与SCE实现对接,为用户提供大数据平台服务.本文利用自建的Hadoop平台为例,并编写程序实现了将其接入SCE中.实验证明,可以通过SCE向Hadoop平台进行提交、查询等一系列操作,正常的将Hadoop平台接入.
Research and Implementation of Big Data Platform Access of SCE

韩伊梦、王小宁、肖海力、迟学斌

展开 >

中国科学院计算机网络信息中心,北京 100190

中国科学院大学,北京 100190

SCE YARN 大数据平台 多样化资源

国家重点研发计划:

2018YFB0204101

2019

科研信息化技术与应用

科研信息化技术与应用

影响因子：0.364
ISSN：
年,卷(期)：2019.10(1)
  • 1