平方公里阵列(Square Kilometre Array,SKA)射电望远镜的数据处理是通过管线方式进行的,管线的执行效率是SKA区域中心考虑的重要因素.连续谱成像观测是SKA的主要观测模式之一,也是许多科学工作的基础.本文以SKA低频先导设备(Murchison Widefield Array,MWA)的成像管线为例,在中国SKA区域中心原型机(China SKA Regional Centre Prototype,CSRC-P)上进行并行处理管线优化.以往的优化方案都集中在少数性能热点,缺乏对整体管线的系统优化,导致整体加速比相对较低.针对这一问题,本文提出一种全局优化方案,针对管线使用多种编程语言和图像数据可独立处理的特点,综合使用C++多线程、Python多进程和Shell多任务并行等优化方法,并验证了优化结果的准确性.实验表明,优化后的代码在CSRC-P的x86节点和ARM(Advanced RISC Machine)节点上分别获得了2.7和2.4倍加速,运行时间分别从7479和9666 s,降低为2759和4061 s.ARM计算节点展现出对SKA应用良好的适应性.本文的优化策略和方法也适用于其他SKA科学应用,对SKA先导望远镜的科学运行和未来的运行也有帮助.
Optimization of parallel processing of the Square Kilometre Array low-frequency imaging pipeline
万方数据
维普
