首页|基于资源紧迫度的实时ETL弹性调度机制

基于资源紧迫度的实时ETL弹性调度机制

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
在ETL系统中,当数据生产速度遇到较大的波动时,为了使现有资源在有限的条件下极大程度地满足用户的使用需求,提出了基于资源紧迫度的E TL弹性调度机制.首先,构建基于历史数据的时间序列预测模型,用来预测数据生产速度;然后,根据各个E TL过程提交的资源清单和各个服务器负载情况,对单个用户的多个E TL过程的资源进行调整.该调度机制将资源调度问题转换为多维背包问题,提出了基于资源紧迫度的动态调度算法.实验结果表明,当用户资源对所有的E TL过程稀缺的时候,该调度算法会使资源得到更好的利用.通过实验验证了弹性调度比传统的调度方式在资源利用方面具有优势.
Resource urgency-based elastic scheduling mechanism for real time ETL

王萌、刘旋律、高峰、顾进广

展开 >

武汉科技大学 计算机科学与技术学院,武汉430065

武汉科技大学 智能信息处理与实时工业系统湖北省重点实验室,武汉430065

武汉科技大学 大数据科学与工程研究院,武汉430065

国家新闻出版署 富媒体数字出版内容组织与知识服务重点实验室,北京100038

展开 >

实时ETL 弹性调度 资源调度 多维背包

国家社会科学基金重大项目国家自然科学基金国家自然科学基金通用联合基金

11&ZD18961673304U1836118

2021

10.19734/j.issn.1001-3695.2020.10.0385

计算机应用研究
四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心
影响因子：0.93
ISSN：1001-3695
年,卷(期)：2021.38(7)
  • 2