首页|静态场景下HDFS副本放置的改进策略

静态场景下HDFS副本放置的改进策略

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
云存储系统中的副本放置策略关系到云存储的可用性和可靠性、数据负载均衡程度以及数据访问速度.在静态场景,也即数据分批次处理场景下,HDFS默认策略只对每个数据块的3个副本分别进行放置,而未综合考虑整批数据放置方案对集群负载、访问失效率、整体读写性能的影响.针对这一问题,改进基于二进制多目标灰狼优化算法的副本放置策略,以平均副本失效率、磁盘相对负载标准差及读取评价因子为目标函数,得出3个目标函数值都较低的副本放置策略.实验结果表明,采用改进策略后,集群的整体负载均衡度更高,并且在随机读取指定数量数据块的实验中,耗时也远小于默认策略.另外,改进策略未采用默认副本因子3,数据块最低有2个副本,因而减少了集群负担.
Improvement Strategy of HDFS Replica Placement Policy under Static Scenarios

鲍敬源、赵宁、汪洋

展开 >

海装武汉局驻武汉地区第二军事代表处,湖北武汉430064

武汉理工大学计算机科学与技术学院,湖北武汉430070

贝壳找房科技有限公司,北京100089

分布式文件系统 HDFS 副本放置策略 多目标优化 云存储

2021

10.11907/rjdk.202054

软件导刊
湖北省信息学会

软件导刊

影响因子：0.524
ISSN：1672-7800
年,卷(期)：2021.20(6)
  • 2