摘要
互联网的快速发展为生产活动和日常生活带来了诸多便利的同时，网络安全事故也发生得越来越频繁，严重威胁着生产和生活的正常运行。作为网络管理的重要手段，网络流量的实时异常检测在网络安全领域发挥着重要的作用，它可以尽可能地减小网络流量异常引起的损失，从而更及时地预防和处理网络安全事故，保障互联网环境的安全。因此，设计与实现网络流量实时异常检测系统具有非常重要的现实意义。 但目前，网络流量的实时检测还存在诸多不足之处，本文主要聚焦于两个关键问题。第一，无监督异常检测的性能问题。由于异常多样性和缺乏训练标签，检测时通常采用无监督的方法，但在线流量的属性通常包含多个维度，这加大了问题的复杂度，因为即使是在无监督的情况下，如果对于每个数据点都要大量采样，在大数据的情况下难以实现，特别是，当输入数据的维数变高时，对于数据的异常判断，在性能上、时间上和整体上都会存在很严重的问题。第二，异常检测的稳定性问题。网络异常流量的多样性导致了在检测上难以确保其稳定性。现有的网络流量异常检测方法通常使用单任务学习，有较大的不确定性。这两个问题的解决对提高异常流量检测的性能和稳定性有较大的意义。 本文针对以上两个关键问题提供了相应的解决方案，并在此基础上建立了一套完整的多元时序网络流量异常检测系统。总体来说，本文的主要贡献有: (1)提出了一种基于VAE(Variational auto-encoder)变分自编码器的多元时序流量异常检测算法VAST，以解决无监督异常检测的性能问题，该算法在Encoder和Decoder的基础上结合VAE，并通过对高斯混合分布采样来加速运行，从而有效地减少时间上的损耗，提升性能。在实验方面通过对公开数据集和内部采集的数据集进行了相关实验的研究，证明了所提出方法的稳健性、可靠性和性能。 (2)提出了一个基于双任务训练学习的模型训练策略，通过双任务训练学习，能够更好地发挥网络特性，学习时利用更多的信息，减少由于单任务学习而造成的不确定性，经过实验，与单任务学习相比，它在异常检测方面具有较好的效果，提高了异常检测的稳定性。 (3)设计与实现了一套基于分布式的多元时序流量异常检测系统，以实现算法的落地。该系统主要包括网络实时流量的获取、流量预处理和特征提取、流量异常检测和异常流量存储索引等基本功能模块。在基于当下具有海量数据和超高速数据流的网络环境背景下，能够很好地支持对多元时序流量的异常检测功能，完成对异常数据的分析和存储。
NETL