大数据环境下传统的数据处理方式不再适用,以云计算技术为支撑的大数据处理平台的出现为落实大数据应用提供了可行思路.为此,在归纳了开源Hadoop和Spark平台各自优缺点后,指出其应用场景,以更好地利用大数据.通过比较常用大数据平台发现,Hadoop适用于数据密集型任务,并广泛应用于离线分析.Spark因其基于内存的计算,在迭代计算和实时分析领域占据优势.并发现他们在功能上有较强的互补性,有时二者协同使用可以优化效益,Spark和许多Hadoop发行版已经互相支持实现.经过此项探讨工作,期望有利于选择和实施大数据处理平台,实现大数据资源的更大价值.
NETL
NSTL
万方数据
