基于爬虫及Spark框架的数据分析系统设计

肖端翔¹

扫码查看

作者信息

1. 430079 华中师范大学物理科学与技术学院湖北武汉
折叠

摘要

在信息技术日益发展的当下,在各式各样的网络平台上每天都有大量的数据产生.面对如此庞大体量的数据,采用相应的算法对数据进行深度挖掘分析,以求最大化地获取信息背后的价值,充分发挥数据的作用已成为互联网行业的常态.本文基于国内某大型网络论坛的实际情况,综合考虑数据的实时性、关联性等性质,设计了一种基于爬虫及spark框架的数据分析系统,实现了高效、准确的数据分析.

关键词

数据分析/关联规则/Fp-growth/Spark

引用本文复制引用

出版年

2019

数字化用户

ISSN：

参考文献量1

段落导航