基于MPI的大规模并发数据处理架构设计

扫码查看

原文链接

NETL
NSTL
万方数据
维普

中文摘要：人类社会已进入信息大爆炸时代,数据规模不断快速增长.随着数据量的飙升,数据处理系统对数据进行快速处理的难度日渐加大,小规模计算集群的处理能力已经无法支撑大数据处理的业务需要.本文分析和研究了并行计算实现结构和MPI并发编程框架,提出了对等式和主从式两种分布式集群大规模并发处理架构设计方案,并对两种设计架构进行了分析比较.两种架构设计方案可根据业务需要应用于大数据清洗、检索和统计分析等并发数据处理操作.

作者：

范雷、韩奕

展开 >

作者单位：

公安部第一研究所

关键词：

高性能计算并发处理消息传递架构设计 MPI

出版年：

2018

中国新通信

电子工业出版社

中国新通信

影响因子：0.283

ISSN：1673-4866

年,卷(期)：2018.20(15)

被引量1
参考文献量1