基于爬虫及Spark框架的数据分析系统设计

扫码查看

原文链接

NETL
NSTL
万方数据

中文摘要：在信息技术日益发展的当下，在各式各样的网络平台上每天都有大量的数据产生。面对如此庞大体量的数据，采用相应的算法对数据进行深度挖掘分析，以求最大化地获取信息背后的价值，充分发挥数据的作用已成为互联网行业的常态。本文基于国内某大型网络论坛的实际情况，综合考虑数据的实时性、关联性等性质，设计了一种基于爬虫及spark框架的数据分析系统，实现了高效、准确的数据分析。

作者：

肖端翔

展开 >

作者单位：

430079 华中师范大学物理科学与技术学院湖北武汉

关键词：

数据分析关联规则 Fp-growth Spark

出版年：

2019

数字化用户

ISSN：

年,卷(期)：2019.25(28)

参考文献量2