摘要
作为新一代大数据流式计算框架,Heron忽略了任务实例之间不同通信方式的差异以及节点资源利用率不均衡的问题导致系统性能下降.针对这一问题,设计了节点资源限制模型、通信开销优化模型和实例数据流关系模型,并在此基础上提出了Heron环境下基于实例重分配的传输负载优化策略(transmission load optimiza-tion strategy based on instance reallocation in Heron,TLIR-Heron).该策略包括节点资源限制算法和实例重分配算法,通过判定实例重分配条件并执行重分配算法将节点间数据流转换为节点内数据流,从而降低通信开销.实验结果表明,在三组拓扑测试下,TLIR-Heron相较于Heron默认调度策略能够降低节点间通信开销和系统的计算延迟,并提升了计算节点资源利用的均衡性.
基金项目
国家自然科学基金资助项目(61862060)
国家自然科学基金资助项目(61462079)
国家自然科学基金资助项目(61562086)
国家自然科学基金资助项目(61562078)
国家科技部科技支撑基金资助项目(2015BAH02F01)
新疆大学博士生科技创新资助项目(XJUBSCX-201902)
国家科技期刊平台
NSTL
维普
万方数据