摘要
不平衡数据的异常检测在实际应用中有广泛应用,数据预处理和分类方法作为异常检测的两个主要步骤是异常检测算法的关键组成。本文针对数据异常检测方法开展研究,首先研究信号趋势项消除方法,实现带趋势项信号的预处理,在此基础上研究基于LOF的单分类检测方法,用于解决不平衡数据的异常检测问题。 针对趋势项会严重降低信号异常检测准确性的问题,以高通滤波法为基础,提出了基于信号正负区间统计分布曲线的趋势判断准则,进而设计出了高通滤波器截止频率的实时选择方法,实现了信号趋势的自适应消除;分析了方法预设参数对滤波结果的影响,在此基础上对算法进行了改进,使之更适用于实际工程应用。 针对异常检测中的不平衡数据问题,提出了基于改进LOF算法的单分类器方法用于异常检测。首先针对传统LOF仅使用欧氏距离实现近邻提取,分类准确率受数据特性影响明显的问题,提出RM-LOF算法,利用ReliefF与多距离融合方法实现LOF分类。在此基础上,针对单分类器算法准确率易受训练样本集中的噪声数据影响的问题,将Bagging算法与RM-LOF算法结合,获得集成分类方法。通过上述改进方法降低数据集特征对LOF分类器的影响,提高了改进LOF算法在不同数据集上的分类准确率,提高了算法通用性。 上述方法被应用于UCI通用数据集和实际工业对象数据异常检测问题(管道泄漏检测和流化床结块检测)中,实验结果证明了方法的有效性。