查看更多>>摘要:随着系统复杂性的增加,日志规模也越发庞大,人工对其分析已经变得不切实际.许多研究者提出了深度学习方法与日志异常检测相结合.然而,这些方法也面临着一些挑战,现有的基于深度学习的日志异常检测方法通常存在训练开销大、依赖于高质量训练数据以及需要定期重新训练等问题.最近,大语言模型在许多领域如机器翻译、语言理解等领域展现出了强大的实力.因此本文将大语言模型与日志异常检测相结合,通过利用大语言模型丰富的预训练知识,提出了一种高效且无需微调的小样本场景下的日志异常检测方法.该方法首先采用分层次聚类,从大量的正常日志中,提取出一个小的、多样的、具有代表性的正常日志消息合集作为候选集,可以反映出正常日志的广泛模式.同时采用基于解释的提示学习,解释候选集中的每一条正常日志被判定为正常的原因,增强模型对正常日志模式的理解.同时,依据不同日志数据集的特征,采用基于思维链的提示策略,为不同的数据集构建了特定的提示模版.此外,本文设计的提示模版在零样本场景下也能有效地进行日志异常检测.与现有日志异常检测方法相比,该方法只需要极少量的训练数据,就可以达到较高的准确度,极大地减少了模型训练的开销,且当日志进行大规模更新时,也无需重新训练模型.为了评估该方法的性能,使用两个公共数据集验证模型的有效性,本文提出的方法在BGL、Spirit数据集上的F1分数分别为81.54%和96.55%,且在两个数据集上的召回率分别为95.00%和97.77%,本文提出的方法在2种数据集上都有着较高的召回率和F1值.实验表明,只需要极少量训练数据的情况下,本文提出的方法可以有效实现日志异常检测.