通用数据并行处理框架设计与实现

扫码查看

原文链接

NETL
NSTL
万方数据
维普

中文摘要：传感数据量的大幅增长,势必需要具备高性能计算能力的传感数据处理系统.针对现有大规模数据处理时面临的问题,本文提出搭建基于C++、面向数据处理的通用并行处理框架,主要目标是为业务数据处理提供高效的基础环境.并行处理框架以接口的方式向用户提供公共服务、业务接入服务、业务调度服务、数据处理服务等,每个服务在设计上都遵循适应性、扩展性和易用性的要求.最后,以遥感影像数据还原处理为例搭建图像并行处理系统,验证了并行处理框架的有效性.

作者：

王磊

展开 >

作者单位：

浙江传媒学院全媒体中心浙江杭州310018

关键词：

数据处理并行处理框架设计

出版年：

2017

科技经济导刊

ISSN：

年,卷(期)：2017.(8)

参考文献量3