首页|MapReduce和Spark两种框架下的大数据极限学习机比较研究

MapReduce和Spark两种框架下的大数据极限学习机比较研究

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
对MapReduce和Spark两种框架下的大数据极限学习机进行了比较研究.具体地,从程序运行时间、任务的同步次数、分类器的泛化性能和需要读写的文件数目4个方面进行了比较.得出了如下结论:1)在程序运行时间上,基于Spark的大数据极限学习机明显优于MapReduce的大数据极限学习机,通过理论分析以及对比不同平台的并行指标speedUp和sizeUp证明了这一结论,而且随着隐含层节点个数的增多,这一优势越发明显;2)在任务的同步次数上,基于MapReduce大数据极限学习机的性能优于基于Spark大数据极限学习机;3)在分类器的泛化性能上,基于MapReduce的大数据极限学习机与基于Spark大数据极限学习机并无本质的差别;4)在需要读写的文件数目上,基于MapReduce的大数据极限学习机需要读写的文件数目与Map任务个数有关,而基于Spark的大数据极限学习机需要读写的文件数目与分区数有关.这些结论对从事相关研究的人员,特别是从事大数据机器学习研究的人员具有较高的参考价值.
Comparative Study on Big Data Extreme Learning Machines Under MapReduce and Spark Frameworks

宋丹丹、翟俊海、李艳、齐家兴

展开 >

河北大学 数学与信息科学学院,河北 保定071002

河北大学 河北省机器学习与计算智能重点实验室,河北 保定071002

大数据 机器学习 极限学习机 并行计算 任务同步

国家自然科学基金河北省科技计划重点研发项目河北省自然科学基金河北大学研究生创新资助项目河北省研究生专业学位教学案例库建设项目

71371063 19210310DF2017201026Hbu2019ss077KCJSZ2018009

2020

小型微型计算机系统
中国科学院沈阳计算技术研究所

小型微型计算机系统

CSTPCDCSCD北大核心
影响因子：0.564
ISSN：1000-1220
年,卷(期)：2020.41(7)
  • 7
  • 12