计算机技术与发展2023，Vol.33Issue(8) ：214-220.DOI:10.3969/j.issn.1673-629X.2023.08.031

气象数据分区处理算法与策略研究

Research on Algorithm and Strategy of Meteorological Data Partition Processing

冯冼 方昆 文立恒 朱宏武
计算机技术与发展2023，Vol.33Issue(8) ：214-220.DOI:10.3969/j.issn.1673-629X.2023.08.031
✕
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 维普
  • 万方数据

气象数据分区处理算法与策略研究

Research on Algorithm and Strategy of Meteorological Data Partition Processing

冯冼 1方昆 2文立恒 2朱宏武2
扫码查看

作者信息

  • 1. 湖南省气象信息中心,湖南 长沙 410118;气象防灾减灾湖南省重点实验室,湖南 长沙 410118
  • 2. 湖南省气象信息中心,湖南 长沙 410118
  • 折叠

摘要

为解决海量气象数据并发处理的技术难点,提出了气象数据综合权重算法以及Kafka并发处理性能最优策略.选取湖南省2020 年6 月气象数据作为实验数据集,提取对数据处理系统性能影响最显著的关键特征值,基于熵权法计算关键特征值在流转和处理时消耗基础资源的综合权重,并将其作为气象数据分区处理的客观依据.参照气象大数据云平台架构,设计以Kafka为核心的数据处理模型,通过实验分别得出气象数据在Producer和Consumer端最优Partition、Thread配置策略,从而提升并发处理能力.实验结果表明:对实验数据集进行分区并配置最优策略后,在有限基础资源支撑条件下,消息写入速度从0.69 MB/s提升至37.44 MB/s,消息读取速度从15.65 MB/s提升至67.34 MB/s.该算法和策略已应用在气象卫星遥感数据处理业务,有效解决了海量卫星遥感数据传输处理过程出现消息阻塞的现象,在各类数据处理系统设计中具有较强的参考价值.

关键词

气象数据/关键特征值/权重算法/并发处理/分区策略

Key words

meteorological data/key eigenvalue/weight algorithm/concurrent processing/partition policy

引用本文复制引用

基金项目

湖南省自然科学基金(2020JJ4397)

湖南省气象局重点科研基金(NLJS2019-07)

出版年

2023
计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子：0.621
ISSN：1673-629X
参考文献量14
段落导航相关论文