一种基于条件共现度的攻击技巧提取方法

1.本发明属于网络安全技术领域，尤其涉及一种基于条件共现度的攻击技巧提取方法。


背景技术：

2.在信息时代，网络威胁情报发展愈来愈迅速。面对当前日益严峻的威胁形势，各自为政地分头开展情报采集工作不仅会增大情报搜集的成本，还会限制情报信息的流动，这使得威胁情报价值无法最大化。在威胁和攻击不断变化升级的网络环境下，能及时获得情报信息至关重要。一个好的解决方法是共享威胁情报。企业可以从共享的威胁情报获取恶意ip地址、域名、恶意软件hash值和攻击者所使用的攻击技巧等，从而迅速而成功地对网络攻击做出反应，有效提升其对网络威胁的防御能力。
3.虽然网络安全研究人员通常会将网络安全事件进行整理和分析后通过博客或报告共享，这其中蕴含了大量的威胁情报相关信息，但是很少有作者会对此进行归纳总结。另一方面，到目前为止没有一个在国际上通用的威胁信息共享标准。因此随着威胁相关文章的大量发表，人工地从非结构化的上下文中提取有用信息的效率低。为了帮助网络安全研究人员更好地了解攻击者的在网络安全事件中所采取的多种技术手段，急需一种从网络安全事件报告中自动提取多种攻击技巧的方法。


技术实现要素：

4.本发明是一种针对攻击技巧的提取技术，利用条件共现度，结合机器学习算法自动化地从网络安全事件报告中提取多个攻击技巧。
5.为了达到上述目的，本发明采取如下技术方案。
6.根据自然段将每个网络安全事件相关的文章分割为几个独立的子文档。
7.利用词共现的方法对子文档和语料库进行重构。
8.利用lda主题模型，对文章基于不同的攻击技巧提取不同的主题词。
9.利用lda主题模型，对不同攻击技巧的描述进行关键词提取。
10.通过对文章和攻击技巧描述进行主题词提取，使用word2vec将处理后含有组合词的语料库进行训练，得到主题词对应的词向量表示。
11.将文章中的每个主题依次与不同的攻击技巧计算余弦相似度，并累加，作为该篇文章的特征向量。
12.将攻击技巧作为标签，对多标签分类模型进行训练，从训练好的分类器中获取文章对应的攻击技巧。
13.通过采用上述技术方案，本发明具有如下有益效果。
14.本发明提出从网络安全事件报告中自动化地提取多个攻击技巧的方法，可以免去人工提取过程，从而提高提取有用信息的效率，这在威胁情报提取方面具有一定的应用价值。本发明将条件共现度应用到多标签分类领域，引入共现词能更准确地表达出文本的语
义关系，进而提高了多标签分类模型的分类精度。
附图说明
15.图1为本发明提供的攻击技巧提取方法的流程图。
16.图2为本发明所述的文本重构的详细流程图。
17.图3为本发明选取的10种常见攻击技巧介绍。
具体实施方式
18.图为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
19.图1是本发明提供的攻击技巧提取方法的流程图，如图1所示，该方法包括如下步骤。
20.步骤s101：将与网络安全事件有关的文章和对攻击技巧的描述重构为带有组合词的一系列单词的集合：根据自然段将每篇文章分割为几个独立的子文档，需要设定一个阈值，当段落中单词的数量大于该阈值，则该段落可以被划分为具有独立语义结构的子文档；否则，该段落需合并到下一段落。对分割后的子文档中的词计算条件共现度，并调整组合词的权重。根据得到的组合词及对应权重，对子文档进行重构。
21.步骤s102：使用lda主题模型提取主题词：为了抽取网络安全事件相关的文章中的多个攻击技巧，使用lda主题模型，基于不同的攻击技巧提取不同的主题词。同样，也需要对不同攻击技巧的描述进行关键词提取。
22.步骤s103：利用提取出来的主题词计算每篇文章与各个攻击技巧描述的相似度：通过对文章和攻击技巧描述进行主题词提取后，使用word2vec将处理后含有组合词的语料库进行训练，进而得到主题词对应的词向量表示。对文章中的每个主题依次计算其与某一个攻击技巧的余弦相似度，并累加，得到该篇文章与此攻击技巧的相似程度，将其作为该文章特征向量的某一维。与不同攻击技巧进行以上的相似度计算，得到文章的特征向量。
23.步骤s104：将攻击技巧作为标签，对多标签分类模型进行训练：分别使用三种不同的分类器，即朴素贝叶斯分类器、支持向量机分类器和决策树分类器，对br算法和lp算法的分类性能进行评估。将多个攻击技巧作为标签，对分类模型进行训练，最终从训练好的多标签分类器中获取文章对应的攻击技巧。
24.图2是本发明所述的文本重构的详细流程图，如图2所示，该方法包括如下步骤。
25.步骤s201：为了进一步确定单词的前后依赖关系，引入条件共现度方法，对分割后的子文档中的词计算条件共现度。
26.步骤s202：为了突出不同组合词在子文档中出现的频率，需对组合词的权重重新计算：
上式中为子文档中词到词的条件共现度，是词在子文档中出现的频率，为子文档中所有词频率的均值。
27.步骤s203：根据得到的组合词及对应权重，对子文档进行重构，得到由原始词和组合词构成的新的子文档。
28.图3是本发明选取的10种常见攻击技巧介绍，如图3所示，这10种常见网络攻击技巧及其描述来自mitre公司推出的att&ck标准，本发明中的所需的与网络安全事件有关的文章均与这10个攻击技巧相关。
29.以上实例仅说明本发明的技术方案而并非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者同等替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。


技术特征：
1.一种基于条件共现度的攻击技巧提取方法，其特征在于：a、从各权威的威胁情报发布平台收集与安全事件有关文章的网页源码，然后对其进行预处理，将网页中的有效内容提取成文档；b、根据自然段将提取出的每个网络安全事件相关的文章分割为几个独立的子文档；c、利用词共现的方法对子文档和语料库进行重构；d、利用lda主题模型，对文章基于不同的攻击技巧提取不同的主题词；e、利用lda主题模型，对不同攻击技巧的描述进行关键词提取；f、通过对文章和攻击技巧描述进行主题词提取，使用word2vec将处理后含有组合词的语料库进行训练，得到主题词对应的词向量表示；g、将文章中的每个主题依次与不同的攻击技巧计算余弦相似度，并累加，作为该篇文章的特征向量；h、将攻击技巧作为标签，对多标签分类模型进行训练，从训练好的分类器中获取文章对应的攻击技巧。2.如权利要求1所述的文本分割，其特征在于，所述的步骤b进一步包括如下步骤：b1、根据自然段将每篇文章分割为几个独立的子文档，需要设定一个阈值，当段落中单词的数量大于该阈值，则该段落可以被划分为具有独立语义结构的子文档；否则，该段落需合并到下一段落。3.如权利要求1所述的文本重构，其特征在于，所述的步骤c进一步包括如下步骤：c1、为了进一步确定单词的前后依赖关系，引入条件共现度方法，对分割后的子文档中的词计算条件共现度；c2、为了突出不同组合词在子文档中出现的频率，需对组合词的权重重新计算：上式中为子文档中词到词的条件共现度，是词在子文档中出现的频率，为子文档中所有词频率的均值；c3、根据得到的组合词及对应权重，对子文档进行重构，得到由原始词和组合词构成的新的子文档。4.如权利要求1所述的主题词提取，其特征在于，所述的步骤d进一步包括如下步骤：d1、为了抽取网络安全事件相关的文章中的多个攻击技巧，使用lda主题模型，基于不同的攻击技巧提取不同的主题词；同样，也需要对不同攻击技巧的描述进行关键词提取。5.如权利要求1所述的特征向量，其特征在于，所述的步骤g进一步包括如下步骤：g1、对文章中的每个主题依次计算其与某一个攻击技巧的余弦相似度，并累加，得到该篇文章与此攻击技巧的相似程度，将其作为该文章特征向量的某一维；g2、与不同攻击技巧进行g1所述的相似度计算，得到文章的特征向量。

技术总结
本发明涉及网络安全技术领域，是一种基于条件共现度的攻击技巧提取方法，核心是基于条件共现度，利用机器学习算法从网络安全事件报告中自动提取多个攻击技巧。本发明方法首先利用条件共现度将文本重构为带有共现词的一系列单词的集合。然后利用隐含狄利克雷分布（LDA）主题模型提取出主题词来计算文档与攻击技巧的语义相似度，将其作为文档的特征。最后把攻击技巧提取问题转化为多标签分类问题，利用机器学习算法完成对网络安全事件相关的文章中攻击技巧的抽取。本发明可以帮助网络安全研究人员更好地了解攻击者的在网络安全事件中所采取的技术手段，通过共现词的引入有效地增强了攻击技巧提取的性能。增强了攻击技巧提取的性能。


技术研发人员：刘亮 彭思琪 廖珊
受保护的技术使用者：四川大学
技术研发日：2020.11.27
技术公布日：2022/5/31