摘要
为解决高速公路隧道机电设备采集的海量原始数据量纲不统一、存在异常值和缺失值而造成的数据分析难、可视化错误等问题,立足高速公路机电数据清洗与标准化,构建形成高速公路隧道机电设备数据清洗与标准化模型框架.首先,基于Holt-Winters模型与改进的高斯函数进行异常时间序列的离群点检测,并将异常值进行剔除.其次,对剔除离群点的数据进行Min-Max标准化,将数据映射到[0,1]区间,以消除不同数据指标量纲的影响.最后,基于生成式对抗网络补全被剔除的异常值及原始数据中的缺失值.基于实际隧道机电设备数据对本文提出的方法进行验证,实验结果表明,本文提出的方法能够有效剔除异常值,同时对缺失值进行合理填充,将标准差降低约56.5％,显著提高了数据质量.
NETL
NSTL
万方数据