计算机研究与发展2023,Vol.60Issue(5) :1177-1190.DOI:10.7544/issn1000-1239.202111185

大规模海洋数据同化的并行优化

Parallel Optimization for Large-Scale Ocean Data Assimilation

蔡迪 洪学海 肖俊敏 谭光明
计算机研究与发展2023,Vol.60Issue(5) :1177-1190.DOI:10.7544/issn1000-1239.202111185

大规模海洋数据同化的并行优化

Parallel Optimization for Large-Scale Ocean Data Assimilation

蔡迪 1洪学海 1肖俊敏 1谭光明1
扫码查看

作者信息

  • 1. 中国科学院计算技术研究所 北京 100190
  • 折叠

摘要

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法,经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下,基于中国科学院大气物理研究所(Institute of Atmospheric Physics,Chinese Academy of Sciences,IAP)和大气科学和地球流体力学数值模拟国家重点实验室(State Key Laboratory Modelling for Atmospheric Sciences and Geophysical Fluid Dynamics,LASG)发展的LASG/IAP气候系统海洋模式(LASG/IAP climate ocean model,LICOM)的同化并行程序往往涉及大量的文件读取、通信和计算,以往的研究虽然对这些方面进行了优化,但是由于优化只是停留在上层算法层面,没有考虑底层的文件系统以及超算集群的架构,因此优化的效果不太明显.针对以往研究存在的问题,进一步将海洋数据同化的数据特性、计算特性与所使用的超算平台的架构特性相结合,在此基础上结合时间局部性和空间局部性,提出了基于计算拓扑图的负载均衡策略、基于Lustre文件存储架构和超算集群特性的并行优化策略,以及计算、读取通信、写回3层重叠策略.最后,使用高分辨率数据集,在天河2号超算集群上对所提算法进行了测试.相比于现有算法,所提的算法在4000核下对总体同化性能上提升了18倍.另外,还在曙光7 000超算集群上开展了测试.在4000块DCU加速卡上,相比于已有算法,所提算法提升总体计算性能8倍左右.

关键词

数据同化/负载均衡/I/O优化/并行优化/计算与通信重叠

引用本文复制引用

基金项目

国家重点研发计划项目(2016YFC1401706)

国家自然科学基金青年科学基金(61802369)

国家自然科学基金(62172391)

国家自然科学基金(61972377)

国家自然科学基金(62032023)

国家自然科学基金(T2125013)

出版年

2023
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
被引量3
参考文献量5
段落导航相关论文