一种基于人工智能的网络安全监控方法与流程

1.本发明涉及数据处理领域，具体涉及一种基于人工智能的网络安全监控方法。


背景技术：

2.随着互联网的普及，人们的生活越来越便利，但随着网络数据的激增，各种威胁也应运而生，网络入侵是困扰网络安全的重要问题，如何在大量的数据中有效的检测出网络入侵行为是网络安全领域研究的热点。
3.传统网络安全监控方法大多采用基于规则匹配的方法进行网络安全入侵的判断，此类方法不具备学习能力和推理能力，难以保证数据的安全性。数据挖掘解决了传统方法对先验知识的依赖，数据挖掘的检测模型主要集中在数据的处理分析上，对网络数据进行预处理，挖掘数据内在特征，最终输出结果。其中利用k-means聚类算法在入侵检测方面取得了很好的效果，但k-means聚类算法的聚类效果受初始点的影响较大，不同的初始聚类中心可能会得到完全不同的聚类效果，因此一个较优的初始聚类中心可能会使算法的聚类质量大幅度提升。


技术实现要素：

4.为了解决上述问题，本发明提供一种基于人工智能的网络安全监控方法，所述方法包括：获得所有规范特征点组成的规范特征空间；获得规范特征空间的行和曲线和列和曲线；通过对行和曲线进行分段获得所有行曲线段，根据行曲线段的可能性获得所有目标行曲线段，包括：根据行和曲线上行特征点与相邻行特征点的行特征值的关系获得行特征点的状态，根据行特征点的状态获得极大行特征点和极小行特征点；根据极小行特征点对行和曲线进行分段获得所有行曲线段；根据每个行曲线段上极大行特征点的数量和行特征值计算每个行曲线段的可能性；将可能性最大的预设数量个行曲线段记为目标行曲线段；同理，通过对列和曲线进行分段获得所有列曲线段，根据列曲线段的可能性获得所有目标列曲线段；获得所有目标行曲线段对应的所有目标行的行合适度，包括：根据每个目标行曲线段上极小行特征点的数量和第二特征值，计算每个目标行曲线段的范围；将目标行曲线段上的行特征点在规范特征空间中对应的所有行，记为目标行曲线段对应的所有目标行；根据目标行曲线段的范围计算目标行曲线段对应所有目标行的行合适度；同理，获得所有目标列曲线段对应的所有目标列的列合适度；根据所有目标行曲线段和目标列曲线段获得所有目标区域，根据行合适度和列合适度计算目标区域中所有规范特征点的合适度，根据所有规范特征点的合适度获得最优初始聚类中心；根据最优初始聚类中心获得聚类结果，对所有规范特征点进行的异常判断，识
别出网络是否安全。
5.进一步地，所述根据行和曲线上行特征点与相邻行特征点的行特征值的关系获得行特征点的状态的步骤包括：对于行和曲线上第个行特征点，根据第个行特征点的行特征值，与第个行特征点的行特征值，以及第个行特征点的行特征值的大小关系，获得行特征点的状态，具体为：当大小关系满足时，第个行特征点的状态为上升状态；当大小关系满足时，第个行特征点的状态为极大值状态；当大小关系满足时，第个行特征点的状态为下降状态；当大小关系满足时，第个行特征点的状态为极小值状态。
6.进一步地，所述根据每个行曲线段上极大行特征点的数量和行特征值计算每个行曲线段的可能性的步骤包括：任意一个行曲线段的可能性计算公式为：式中，表示行曲线段中极大行特征点的数量，表示行曲线段中行特征点的数量，表示行曲线段的所有极大行特征点的行特征值的均值，表示行曲线段中第个极大行特征点的行特征值，表示行曲线段的可能性。
7.进一步地，所述根据每个目标行曲线段上极小行特征点的数量和第二特征值，计算每个目标行曲线段的范围的步骤包括：任意一个目标行曲线段的滑窗尺寸的计算公式为：式中，表示目标行曲线段中极小行特征点的数量，表示目标行曲线段中第个极小行特征点的第二特征值，与第个极小行特征点的第二特征值的差值，其中，表示目标行曲线段中第个极小行特征点的第二特征值，表示第个目标行曲线段中第个极小行特征点的第二特征值，表示目标行曲线段的范围。
8.进一步地，所述根据目标行曲线段的范围计算目标行曲线段对应所有目标行的行合适度的步骤包括：第个目标行曲线段对应的第个目标行的行合适度的计算公式为：
式中，表示第个目标行曲线段对应的第个目标行上规范特征点的数量，表示第个目标行曲线段对应的第个目标行左侧的第个目标行到第个目标行上的规范特征点的数量之和，表示第个目标行曲线段上第个目标行右侧的第个目标行到第个目标行上的规范特征点的数量之和，其中，表示第个目标行曲线段的范围，表示规范特征空间中所有规范特征点的数量，表示第个目标行曲线段中的第个目标行的行合适度。
9.进一步地，所述根据极小行特征点对行和曲线进行分段获得所有行曲线段的步骤包括：根据所有极小行特征点对行和曲线进行分段，获得所有行曲线段，保证任意一个行曲线段中的所有行特征点都是连续的，行曲线段中有且仅有一个极小行特征点，并且位于行曲线段中的最后一个位置。
10.进一步地，所述根据所有规范特征点的合适度获得最优初始聚类中心的步骤包括：对于任意一个目标区域，将合适度最大的规范特征点作为目标区域的目标规范特征点；获得所有目标区域的所有目标规范特征点，将合适度最大的预设数量个目标规范特征点记为最优初始聚类中心。
11.进一步地，所述获得所有规范特征点组成的规范特征空间的步骤包括：将获取的所有流量特征进行降维预处理，将每个流量特征的降维结果记为一个特征点，每个特征点具有两个维度，分别记为第一维度和第二维度；对所有特征点进行归一化，将每个特征点的归一化结果记为规范特征点，每个规范特征点具有两个维度，分别记为第一特征值和第二特征值；将所有规范特征点所在的二维空间记为规范特征空间。
12.进一步地，所述获得规范特征空间的行和曲线和列和曲线的步骤包括：对规范特征空间中任意一行的所有规范特征点的第一特征值进行累加求和，将求和结果记为该行的行特征值，根据该行对应的第二特征值和该行的行特征值，获得该行的行特征点，根据所有行的行特征点获得行和曲线；对规范特征空间中任意一列的所有规范特征点的第二特征值进行累加求和，将求和结果记为该列的列特征值，根据该列对应的第一特征值和该列的列特征值，获得该列的列特征点，根据所有列的列特征点获得列和曲线。
13.进一步地，所述根据行特征点的状态获得极大行特征点和极小行特征点的步骤包括：将状态为极大值状态的行特征点记为极大行特征点；将状态为极小值状态的行特征点记为极小行特征点。
14.本发明实施例至少具有如下有益效果：
1、通过构建行和曲线和列和曲线，对行和曲线和列和曲线进行分段分析，快速定位可能存在聚类中心的行曲线段和列曲线段，减小无用曲线段计算，进而减小一定的计算量。
15.2、通过对曲线的变化情况进行分析，获取初始聚类中心，通过初始聚类中心进行聚类，可以使得聚类结果快速收敛，由于初始聚类中心尽可能的位于分割后的类簇中，故通过少量迭代计算即可得到最终的聚类中心，大大减小迭代次数，进一步减小计算量，同时避免陷入局部最优解，导致聚类效果不佳，影响后续网络入侵判断。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
17.图1为本发明一个实施例提供的一种基于人工智能的网络安全监控方法的步骤流程图；图2为本发明一个实施例提供的规范特征空间；图3为本发明一个实施例提供的规范特征空间的行和曲线；图4为本发明一个实施例提供的规范特征空间的列和曲线。
具体实施方式
18.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的网络安全监控方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
19.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
20.下面结合附图具体的说明本发明所提供的一种基于人工智能的网络安全监控方法的具体方案。
21.请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的网络安全监控方法的步骤流程图，该方法包括以下步骤：s001，获得所有规范特征点，以及所有规范特征点组成的规范特征空间。
22.针对网络请求数据，获取2秒时间内所有时间点，以及每个时间点产生的流量特征，该流量特征是由当前连接有相同目标主机的连接数、出现syn错误的连接次数、出现rej错误的连接次数等数据的一个高维向量；对所有的时间点的所有流量特征利用主成分分析算法降到二维，得到所有流量特征的降维结果，将每个流量特征的降维结果记为一个特征点，每个特征点具有两个维度，分别记为第一维度和第二维度。
23.获取所有特征点的第一维度的最大值，对于任意一个特征点，将该特征点的第
一维度与最大值的比值记为该特征点的第一特征值；获取所有特征点的第二维度的最大值，对于任意一个特征点，将该特征点的第二维度与最大值的比值记为特征点的第二特征值；将第一特征值和第二特征值构成的二维向量记为特征点的规范特征点，将所有规范特征点所在的二维空间记为规范特征空间，如图2所示为所有规范特征点组成的规范特征空间，将第一特征值相同的所有规范特征点记为规范特征空间中的一列，进而将规范特征空间的所有规范特征点分为若干列，将第二征值相同的所有规范特征点记为规范特征空间中的一行，进而将规范特征空间的所有规范特征点分为若干行，每一行或每一列上都包含若干个规范特征点。
24.s002，获得规范特征空间的行和曲线和列和曲线。
25.需要说明的是，本实施例通过k-means聚类算法对规范特征空间中的所有规范特征点进行聚类分割，根据聚类分割结果进行规范特征点的异常判断，从而达到网络安全监控的目的，其中，k-means聚类算法是基于距离进行分类的，同一类簇中的规范特征点距离聚类中心的平均距离小，故规范特征点分布密集的区域更有可能为不同类簇所在区域，即聚类初始点更有可能位于规范特征点分布密集区域，因此，需要获得行和曲线和列和曲线。
26.在本实施例中，对规范特征空间中第行的所有规范特征点的第一特征值进行累加求和，获得第行的累加求和结果，将求和结果记为第行的行特征值；将第行对应的第二特征值记为，将记为第行的行特征点，根据所有行的行特征点绘制一个折线图，记为行和曲线。
27.同理，对规范特征空间中第列的所有规范特征点的第二特征值进行累加求和，获得第列的累加求和结果，将记为第列的列特征值；将第列对应的第二特征值记为，将记为第列的列特征点，根据所有列的列特征点绘制一个折线图，记为列和曲线。
28.例如，针对图2所示的规范特征空间，获得的行和曲线如图3所示，获得的列和曲线如图4所示。
29.s003，通过对行和曲线和列和曲线进行分段，获得所有行曲线段和列曲线段，根据行曲线段和列曲线段的可能性获得所有目标行曲线段和目标列曲线段。
30.需要说明的是，由于规范特征点的分布为离散分布，即构建的行和列和曲线存在较大的波动性，同时k-means聚类算法的类簇数量值事先根据人为设定是确定的，即聚类初始点的个数是确定的，聚类初始点位于规范特征点分布密集区域时，更有可能为不同类簇所在区域，由此通过分析行和曲线和列和曲线的变化情况进行初始聚类点的确定。
31.1、根据行和曲线上行特征点与相邻行特征点的关系，获得行特征点的状态，根据行特征点的状态，获得极大行特征点和极小行特征点。
32.在本实施例中，对于行和曲线上的第个行特征点，根据第个行特征点的行特征值，与第个行特征点的行特征值，以及第个行特征点的行特征值的大小关系，获得行特征点的状态，具体为：当大小关系满足时，第个行特征点的状
态为上升状态；当大小关系满足时，第个行特征点的状态为极大值状态；当大小关系满足时，第个行特征点的状态为下降状态；当大小关系满足时，第个行特征点的状态为极小值状态。
33.将状态为极大值状态的行特征点记为极大行特征点；将状态为极小值状态的行特征点记为极小行特征点。
34.2、根据极小行特征点对行和曲线进行分段，获得所有行曲线段。
35.根据所有极小行特征点对行和曲线进行分段，获得所有行曲线段，对于任意一个行曲线段，行曲线段中的所有行特征点都是连续的，并且任意行曲线段中有且仅有一个极小行特征点，并且位于行曲线段中的最后一个位置。
36.3、根据每个行曲线段上极大行特征点的数量和特征值，计算每个行曲线段的可能性。
37.任意一个行曲线段的可能性计算公式为：式中，表示行曲线段中极大行特征点的数量，表示行曲线段中行特征点的数量，表示行曲线段中第个极大行特征点的行特征值，表示行曲线段的可能性。
38.每个行曲线段中的极大行特征点的数量越多，极大行特征点的行特征值越大，代表行曲线段对应区域内的行特征点越多，则行曲线段越有可能存在初始聚类中心。
39.4、根据所有行曲线段的可能性，获得所有目标行曲线段。
40.由于行曲线段的可能性越大，则行曲线段越有可能存在初始聚类中心，因此，将可能性最大的预设数量个行曲线段记为目标行曲线段，其中，预设数量为人为设定，在本实施例中，预设数量为4，在其他实施例中，实施人员可根据需要设置预设数量。
41.5、根据列曲线段的可能性获得所有目标列曲线段。
42.同理，根据列和曲线上列特征点与相邻列特征点的关系，获得列特征点的状态，根据列特征点的状态，获得极大列特征点和极小列特征点；根据极大列特征点对列和曲线进行分段，获得所有列曲线段；根据每个列曲线段上极大列特征点的数量和列特征值，计算每个列曲线段的可能性；按将可能性最大的预设数量个列曲线段记为目标列曲线段。
43.s004，根据目标行曲线段和目标列曲线段的特征点的数量和特征值，获得目标行曲线段对应的所有目标行的行合适度，以及目标列曲线段对应的所有目标列的列合适度。
44.1、根据每个目标行曲线段上极小行特征点的数量和第二特征值，计算每个目标行曲线段的范围。
45.需要说明的是，初始聚类中心的确定需要进行综合考虑，判断目标行曲线段是否可能存在初始聚类中心，以及可能性的大小，需要根据目标行曲线段内的存在的行特征点的数量，以及行特征点的分布情况；但目标行曲线段内行特征点的分布情况难以确定，需要结相邻行的行特征点的分布，因此，需要自适应获得范围，根据范围确定相邻行。
46.在本实施例中，任意一个目标行曲线段的范围的计算公式为：
式中，表示目标行曲线段中极小行特征点的数量，表示目标行曲线段中第个极小行特征点的第二特征值，与第个极小行特征点的第二特征值的差值，其中，表示目标行曲线段中第个极小行特征点的第二特征值，表示第个目标行曲线段中第个极小行特征点的第二特征值，表示目标行曲线段的范围。
47.2、根据目标行曲线段的范围，计算目标行曲线段对应的所有目标行的行合适度。
48.将任意一个目标行曲线段中所有行特征点在规范特征空间中对应的所有行，记为该目标行曲线段对应的所有目标行，根据该目标行曲线段的范围，计算目标行的行合适度，其中，第个目标行曲线段对应的第个目标行的行合适度的计算公式为：式中，表示第个目标行曲线段对应的第个目标行上规范特征点的数量，表示第个目标行曲线段对应的第个目标行左侧的第个目标行到第个目标行上的规范特征点的数量之和，表示第个目标行曲线段上第个目标行右侧的第个目标行到第个目标行上的规范特征点的数量之和，其中，表示第个目标行曲线段的范围，表示规范特征空间中所有规范特征点的数量，表示第个目标行曲线段中的第个目标行的行合适度。
49.对于任意一个目标行曲线段的任意一个目标行，对应范围的所有目标行上的规范特征点越多，且左侧所有目标行和右侧所有目标行上的规范特征点分布差异越小，则该目标行越可能是最优聚类初始点的所在位置，则该目标行的行合适度越大。
50.3、同理，根据每个目标列曲线段上极小列特征点的数量和第一特征值，计算每个目标列曲线段的范围；根据目标列曲线段的范围，计算目标列曲线段对应的所有目标列的列合适度。
51.s005，根据所有目标行曲线段和所有目标列曲线段，获取所有目标区域；根据目标区域的目标规范特征点，获得最优初始聚类中心。
52.1、根据所有目标行曲线段和所有目标列曲线段，获取所有目标区域。
53.对于任意一个目标行曲线段，获取该目标行曲线段上的所有行特征点在规范特征空间中对应的所有行，记为该目标行曲线段对应目标行，分别为规范特征空间的第行到
第行；对于任意一个目标列曲线段，获取该目标列曲线段上的所有列特征点在规范特征空间中对应的所有列，记为该目标列曲线段对应目标列，分别为规范特征空间的第列到第列；将该目标行曲线段的所有目标行与该目标列曲线段的所有列的相交区域记为一个目标区域，即将以、、、为顶点的矩阵区域记为一个目标区域；获取所有目标行曲线段的所有目标行与所有目标列曲线段的所有列的所有目标区域。
54.2、根据目标区域的目标规范特征点，获得最优初始聚类中心。
55.对于任意一个目标区域，计算目标区域内每个规范特征点的合适度，具体为：获取规范特征点所在目标行的行合适度和所在目标列的列合适度，将规范特征点所在行的行合适度和所在列的列合适度的乘积，记作规范特征点的合适度。
56.将每个目标区域中，合适度最大的规范特征点，作为所述目标区域的目标规范特征点；获得所有目标区域的所有目标规范特征点，将合适度最大的预设数量个目标规范特征点记为最优初始聚类中心。
57.s006，根据最优初始聚类中心对所有规范特征点进行聚类，根据聚类结果进行网络安全识别。
58.根据最优初始聚类中心，通过k-means聚类算法对规范特征空间中的所有规范特征点进行聚类；根据聚类结果进行规范特征点的异常判断，识别出网络是否安全，从而达到网络安全监控的目的，具体为：对于聚类结果中的任意一个类簇，计算该类簇内所有规范特征点与该类簇的聚类中心的欧式距离，获得该类簇内所有规范特征点的所有欧式距离的箱线图，如果该箱线图中存在异常规范特征点，则说明异常规范特征点对应的时刻，网络安全存在异常，需要进行安全排查，如果该箱线图中不存在异常规范特征点，则说明在该时间段内，网络安全。
59.综上所述，本发明获得所有规范特征点组成的规范特征空间的行和曲线和列和曲线；对行和曲线进行分段得到所有行曲线段，根据行曲线段的可能性获得目标行曲线段；获得目标行曲线段对应的目标行的行合适度以及目标列曲线段对应的目标列的行合适度；根据行合适度和列合适度获得目标区域中规范特征点的合适度，进而获得最优初始聚类中心；根据最优初始聚类中心获得聚类结果，对所有规范特征点进行的异常判断，识别出网络是否安全。本发明结合规范特征空间中规范特征点的分布情况，获得最优初始聚类中心，对所有规范特征点进行的异常判断，实现网络安全监控的目的。
60.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
61.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
62.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，均应包含在本技术的保护范围之内。