首页|基于可解释性深度学习的异常数据检测研究

基于可解释性深度学习的异常数据检测研究

李铭洋

基于可解释性深度学习的异常数据检测研究

李铭洋1
扫码查看

作者信息

  • 1. 华北科技学院
  • 折叠

摘要

近年来,白洋淀水质恶化与生态环境面临的挑战引发了广泛关注。物联网技术的快速发展为环境监测提供了实时、高效的手段,但随之而来的数据可信保障问题也日益突出。其中,传感器故障导致的异常数据严重影响了生态环境监测的准确性。鉴于此,本文旨在通过探索基于可解释性深度学习的异常数据检测方法,为白洋淀流域的生态环境监测提供可靠的数据质量保障。 本文首先深入分析了物联网监测数据的特征,并对已有异常检测方法的优劣进行对比;通过对无监督异常检测的阈值选择问题展开讨论,提供了适应不同场景的解决方案。其次,本文提出了一种基于自动编码器和可解释性深度学习工具SHAP 的无监督异常数据检测算法。该算法结合了深度学习的强大表示能力和可解释性优势,能够实现对数据异常程度的全面评估,为异常数据的精准识别提供了有力支持。同时,针对数据的时序特征,本文还提出了一种基于LSTM-AE的异常检测算法,利用正常数据进行模型训练,有效减少了人工标记异常数据的繁琐过程。 经过实验验证,本文提出的基于可解释性深度学习的异常数据检测算法在准确率、召回率、F1分数等多个关键评估指标上均取得了显著提升。特别是在处理由传感器故障引发的异常数据问题时,该算法展现出了良好的识别性能。同时,基于 LSTM-AE 的异常检测算法也在检测时序数据集中的异常数据问题上取得了良好的效果,该算法相比于传统异常检测算法在准确率和F1分数上分别提升0.1和0.05。 基于本文提出的两种算法,开发了物联网监测数据异常检测系统。该系统能够有效识别传感器故障导致的异常数据,显著提高生态环境监测的数据质量。这一研究成果为白洋淀流域乃至更广泛区域的生态环境监测提供了有力的技术支持。

关键词

生态监测/异常数据检测/深度学习/可解释性

引用本文复制引用

授予学位

硕士

学科专业

安全工程

导师

李永飞/刘永强

学位年度

2024

学位授予单位

华北科技学院

语种

中文

中图分类号

X8
段落导航相关论文