基于预训练模型和中英文威胁情报的TTP识别方法研究
Research on TTP Extraction Method Based on Pre-Trained Language Model and Chinese-English Threat Intelligence
任昌禹 1张玲 2姬航远 1杨立群3
作者信息
- 1. 北京航空航天大学复杂关键软件环境全国重点实验室,北京 100083
- 2. 郑州大学电气与信息工程学院,郑州 450001
- 3. 北京航空航天大学网络空间安全学院,北京 100083
- 折叠
摘要
TTP情报主要存在于非结构化的威胁报告中,是一种具有重要价值的网络威胁情报.然而,目前开源的TTP分类标签数据集主要集中在英文领域,涵盖的语料来源与TTP种类较为有限,特别是缺乏中文领域的相关数据.针对该情况,文章构建了一个中英文TTP情报数据集BTICD,该数据集包含 17700 条样本数据与 236 种对应的TTP.BTICD首次利用了公开的中文威胁报告语料进行TTP标注,且标注了一部分无法映射到任何一种TTP的白样本数据.文章基于预训练模型构建,并在该双语数据集上微调得到双语TTP识别模型SecBiBERT.实验结果表明,SecBiBERT在 50种常见TTP分类任务上的Micro F1 分数达到 86.49%,在全量 236 类TTP分类任务上Micro F1 分数达到 73.09%,识别性能表现良好.
Abstract
The tactics,techniques,and procedures(TTP)intelligence primarily resides in unstructured threat reports and serves as a valuable source of cyber threat intelligence.However,the existing open-source TTP classification label datasets are predominantly focused on the English domain,with limited coverage of source materials and TTP types,particularly lacking relevant data in the Chinese domain.To address this issue,this paper constructed a bilingual TTP intelligence dataset,bilingual threat intelligence classifying dataset(BTICD),which included 17700 samples and 236 corresponding TTPs.BTICD was the first to utilize publicly available Chinese threat report as corpora for TTP annotation and also annotated a portion of white-box samples that cannot be mapped to any TTP.This paper introduced and fine-tuned pre-trained models on the bilingual dataset to obtain a bilingual TTP identification model SecBiBERT.Experimental results show that SecBiBERT achieves a Micro F1 score of 86.49%on the 50 common TTP classification tasks and a Micro F1 score of 73.09%on the full set of 236 TTP classification tasks,which outperforms existing similar models.
关键词
TTP/威胁情报/预训练模型Key words
TTP/threat intelligence/pre-trained language model引用本文复制引用
基金项目
国家自然科学基金(U2333205)
国家自然科学基金(62302025)
国家自然科学基金(62276017)
国家电网有限公司技术研发项目(5108-202303439A-3-2-ZN)
2022年度CCF-绿盟科技鲲鹏科研基金()
上海可信工控平台开放项目(CCF-NSFOCUS202210)
出版年
2024
NETL
NSTL
万方数据