首页|Spark框架下混合SACS-GS的大数据清洗方法

Spark框架下混合SACS-GS的大数据清洗方法

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
提出一种Spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了Spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策略,通过线性递减概率规则将两种策略结合起来,形成自适应搜索策略,避免种群早熟和提高收敛速度,然后引入自适应发现概率,提高种群的多样性.SACS算法混合GS算法得到SACS-GS方法,该方法通过引力搜索算法的局部搜索能力来确定自适应布谷鸟算法的全局范围,并找到使卵生长和成熟的最佳解决方案,有效地识别大数据中的错误数据.实验结果表明,SACS-GS方法具有较高的大数据异常检测精度,且精度高于其他现有方法,处理时间低于其他方法.
Big Data Cleaning Method for Hybrid SACS-GS under Spark Framework

何翼、田华

展开 >

铜仁学院大数据学院 ,贵州铜仁554300

大数据清洗 Spark框架 自适应布谷鸟算法 引力搜索算法 异常检测

贵州省教育厅创新群体重大研究项目

黔教合KY字[2016]051

2020

西南师范大学学报(自然科学版)
西南大学

西南师范大学学报(自然科学版)

CSTPCD
影响因子：0.805
ISSN：1000-5471
年,卷(期)：2020.45(7)
  • 4
  • 6