基于负载估计的Hadoop资源感知调度器

扫码查看

原文链接

NETL
NSTL
万方数据
维普

中文摘要：目前,大多数基于云的应用都需要大规模的数据处理能力,而待处理数据的增长速度远远超过可用计算能力的增长速度,Hadoop被用来通过商用硬件实现大型集群的分布式处理.在大型集群中,工作负载一般是异构性的,这主要是指在大型集群上同时运行I/O密集型,CPU密集型或网络密集型的作业,而这些作业又有不同类型的资源需求.Hadoop的默认作业调度算法是基于FIFO实现的,而它并没有考虑到不同类型作业的并行化调度问题.

作者：

荆建梅、高文、于铄航

展开 >

作者单位：

天地(常州)自动化股份有限公司

关键词：

Hadoop 异构性作业调度资源感知负载均衡

基金：

中国煤炭科工集团有限公司/天地科技股份有限公司科技创新基金智慧矿山专项天地(常州)自动化股份有限公司技术研发项目

项目编号：

2016-ZHKSZX-032017GY006

出版年：

2017

科技尚品

ISSN：

年,卷(期)：2017.(8)

参考文献量3