计算机研究与发展2023,Vol.60Issue(10) :2418-2439.DOI:10.7544/issn1000-1239.202220580

低跨云数据中心修复流量的纠删码的快速构造方法

A Fast Construction Method of the Erasure Code with Small Cross-Cloud Data Center Repair Traffic

包涵 王意洁
计算机研究与发展2023,Vol.60Issue(10) :2418-2439.DOI:10.7544/issn1000-1239.202220580

低跨云数据中心修复流量的纠删码的快速构造方法

A Fast Construction Method of the Erasure Code with Small Cross-Cloud Data Center Repair Traffic

包涵 1王意洁2
扫码查看

作者信息

  • 1. 并行与分布计算全国重点实验室(国防科技大学)长沙 410073
  • 2. 国防科技大学计算机学院 长沙 410073
  • 折叠

摘要

近年来,云数据中心故障频发,因而各大机构纷纷采用跨云数据中心多副本技术对数据进行容灾存储.与跨云数据中心多副本技术相比,跨云数据中心纠删码技术可靠性更高、冗余度更低.但是,现有跨云数据中心纠删码技术无法同时满足低跨云数据中心修复流量、高编码参数适应性和高纠删码构造效率,因而尚未在生产系统中得到普遍应用.提出一种低跨云数据中心修复流量的纠删码的快速构造方法(fast construction method of the erasure code with small cross-cloud data center repair traffic,FMEL),该 方法可在不同编码参数下快速构造具有低跨云数据中心修复流量的纠删码.具体而言,FMEL首先将纠删码修复组分布方案及用户指定的编码参数转换为定长特征向量,并基于支持向量机对各特征向量进行快速分类以检验其对应纠删码修复组分布方案和编码参数的匹配性——某特征向量属于正类表示其对应纠删码修复组分布方案与编码参数相匹配.而后,FMEL用一种并行搜索算法从所有通过检验的纠删码修复组分布方案中选出平均跨云数据中心修复流量较小的一个方案,并用一种试错算法将其转换为具有低跨云数据中心修复流量的纠删码的生成矩阵.跨云数据中心环境中的实验表明,与现有的可在不同编码参数下构造出能达到平均跨云数据中心修复流量下限的最优码的工作相比,FMEL可将纠删码构造用时缩短89%,且在大部分编码参数下,二者构造的纠删码的跨云数据中心修复流量相同.此外,与其他几类常用纠删码相比,FMEL构造的纠删码可将跨云数据中心修复流量降低42.9%~56.0%.

关键词

跨云数据中心存储/纠删码/容灾/容错/修复流量

Key words

cross-cloud data center storage/erasure code/disaster-tolerance/fault-tolerance/repair traffic

引用本文复制引用

基金项目

国家重点研发计划(2016YFB1000101)

国家自然科学基金(61379052)

国家教育部科研创新基金(2018A02002)

湖南省自然科学杰出青年基金(14JJ1026)

出版年

2023
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
参考文献量1
段落导航相关论文