摘要
气象综合业务实时监控系统-"天镜"为全国气象部门针对基础观测数据和产品在收集、分发、入库、同步各个环节提供数据全流程监视服务."天镜"系统中气象资料全流程的到报率和及时率指标作为对全国气象站上行资料的考核依据,是一线值班人员重点关注对象.为保障"天镜"系统的可靠性和高效性,解决目前"天镜"系统全流程指标计算慢的问题,基于Spark大数据计算引擎优化了全流程计算策略.文中将原本复杂的计算任务按气象资料类型和是否考核进行拆解,并重构了Spark任务生成的模板.结果表明,在相同的物理条件下,将单个庞大的计算任务拆解成多个子任务并行处理可以有效地提升Spark集群的计算效率,优化"天镜"系统中地面区域站气象资料的实时展示效果.
基金项目
国家发展改革委工程建设项目(发改投资[2021]231 号)
国家气象信息中心气象综合业务智能监控创新团队攻关任务项目(NMIC-202011-05)
国家科技期刊平台
NSTL
万方数据