异常服务地址检测方法和装置、计算机可读存储介质与流程

1.本公开涉及互联网领域，特别涉及一种异常服务地址检测方法和装置、计算机可读存储介质。


背景技术：

2.移动互联网兴起之后，信息内容服务安全越发被重视，传统的爬虫方式等爬扫方式受https(全称：hyper text transfer protocol over securesocket layer，超文本传输安全协议)技术推广的制约愈发明显，而且信息受众媒介也从网页转向app(application，应用程序)等新的内容封装模式。
3.对于新内容封装模式，信息内容服务安全检测现主要通过静态检测和动态流量检测2种方式获取信息服务地址,通过对服务地址的异常检测发现信息安全问题。


技术实现要素：

4.相关技术异常检测主要基于密度、分布、模型分类等技术实现，在不同类型场景下检测结果各异，但是没有哪一种方法具有不可替代的优势，并且资源开销较大。
5.鉴于以上技术问题中的至少一项，本公开提供了一种异常服务地址检测方法和装置、计算机可读存储介质，基于链接关系进行检测，大大提升了异常服务地址检测效率。
6.根据本公开的一个方面，提供一种异常服务地址检测方法，包括：
7.采集并处理日志数据；
8.从日志数据中提取服务地址特征向量；
9.计算服务地址特征向量间的余弦相似度；
10.将所述余弦相似度作为pagerank(网页排名)算法中的链上权重值，对服务地址特征向量进行相似重要程度排序；
11.从相似重要程度序列中按照预定顺序截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址。
12.在本公开的一些实施例中，所述异常服务地址检测方法还包括：
13.针对异常服务地址进行告警。
14.在本公开的一些实施例中，所述计算服务地址特征向量间的余弦相似度包括：
15.计算不同服务地址之间、或同一服务地址不同时间周期之间的余弦相似度。
16.在本公开的一些实施例中，所述从相似重要程度序列中按照预定顺序截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址包括：
17.按照相似重要程度从小到大的顺序，从相似重要程度序列中截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址。
18.在本公开的一些实施例中，所述从相似重要程度序列中按照预定顺序截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址包括：
19.按照相似重要程度从大到小的顺序，从相似重要程度序列中截取预定数目的服务
地址特征向量，将截取的服务地址作为低频持续性攻击行为的服务地址。
20.在本公开的一些实施例中，所述从相似重要程度序列中按照预定顺序截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址包括：
21.按照相似重要程度从小到大的顺序，从相似重要程度序列小于第一预定阈值的相似重要程度序列中截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址。
22.在本公开的一些实施例中，所述从相似重要程度序列中按照预定顺序截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址包括：
23.按照相似重要程度从大到小的顺序，从相似重要程度序列大于第二预定阈值的相似重要程度序列中截取预定数目的服务地址特征向量，将截取的服务地址作为低频持续性攻击行为的服务地址。
24.在本公开的一些实施例中，所述计算服务地址特征向量间的余弦相似度包括：
25.计算所有服务地址向量中每两个服务地址之间的余弦相似度；
26.对所述余弦相似度进行归一化处理。
27.在本公开的一些实施例中，所述将所述余弦相似度作为网页排名算法中的链上权重值，对服务地址特征向量进行相似重要程度排序包括：
28.构建不同服务地址之间或同一服务地址不同时间周期之间的链接图，将所述余弦相似度作为网页排名算法中的链上权重值；
29.初始化每个服务地址向量的相似重要程度值均相等，其中，所有服务地址向量的相似重要程度值的和为1；
30.重新迭代计算每个服务地址向量的相似重要程度值；
31.在迭代收敛的情况下，对服务地址特征向量进行相似重要程度值重新排序。
32.在本公开的一些实施例中，所述重新迭代计算每个服务地址向量的相似重要程度值包括：
33.根据公式r_
i
＝σ(s
ij
*r
j
)
34.确定第i个服务地址向量迭代后的相似重要程度值r_
i
，其中，1≤i≤m，1≤j≤m，i、j为自然数，j≠i，r
j
为第j个服务地址向量的当前相似重要程度值，s
ij
为第i个服务地址向量和第j个服务地址向量的余弦相似度。
35.根据本公开的另一方面，提供一种异常服务地址检测装置，包括：
36.数据采集模块，用于采集并处理日志数据；
37.特征向量提取模块，用于从日志数据中提取服务地址特征向量；
38.相似度计算模块，用于计算服务地址特征向量间的余弦相似度；
39.排序模块，用于将所述余弦相似度作为网页排名算法中的链上权重值，对服务地址特征向量进行相似重要程度排序；
40.异常地址确定模块，用于从相似重要程度序列中按照预定顺序截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址。
41.根据本公开的另一方面，提供一种所述异常服务地址检测装置用于执行实现如上述任一实施例所述的异常服务地址检测方法的操作。
42.根据本公开的另一方面，提供一种异常服务地址检测装置，包括：
43.存储器，用于存储指令；
44.处理器，用于执行所述指令，使得所述装置执行实现如上述任一实施例所述的异常服务地址检测方法的操作。
45.根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的异常服务地址检测方法。
46.本公开可以基于链接关系进行异常服务地址检测，从而大大提升了异常服务地址检测效率。
附图说明
47.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1为本公开异常服务地址检测方法一些实施例的示意图。
49.图2为本公开一些实施例中不同服务地址之间或同一服务地址不同时间周期之间的链接示意图。
50.图3为本公开一些实施例中相似重要程度值序列的示意图。
51.图4为本公开异常服务地址检测方法另一些实施例的示意图。
52.图5为本公开异常服务地址检测装置一些实施例的示意图。
53.图6为本公开异常服务地址检测装置另一些实施例的示意图。
具体实施方式
54.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
55.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
56.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
57.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
58.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
59.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
60.图1为本公开异常服务地址检测方法一些实施例的示意图。优选的，本实施例可由
本公开异常服务地址检测装置执行。该方法包括以下步骤11-步骤15，其中：
61.步骤11，采集并处理日志数据。
62.在本公开的一些实施例中，步骤11可以包括步骤111和步骤112，其中：
63.步骤111，采集服务地址数据和导入网络访问信息，可能包括ip、域名、短地址、相对地址等。
64.在本公开的一些实施例中，步骤111可以包括：对于新内容封装模式(新媒介)，信息内容服务安全检测主要通过静态检测或动态流量检测2种方式获取程序中的信息服务地址。
65.步骤112，对数据进行预处理，其中，所述预处理可以包括清洗、转换、关联、缺失值处理等。
66.步骤12，从日志数据中提取服务地址特征向量。
67.在本公开的一些实施例中，步骤12可以包括：进行特征工程实现，生成标识服务地址的特征向量。
68.在本公开的一些实施例中，步骤12可以包括：基于日志数据提取m
×
n维特征矩阵，即提取m个n维特征向量，其中，n为特征数，m为样本数(服务地址数)。
69.步骤13，计算服务地址特征向量间的余弦相似度。
70.在本公开的一些实施例中，步骤13可以包括：计算不同服务地址之间、或同一服务地址不同时间周期之间的余弦相似度。
71.在本公开的一些实施例中，步骤13可以包括步骤131-步骤132，其中：
72.步骤131，计算所有服务地址向量中每两个服务地址之间的余弦相似度。
73.在本公开的一些实施例中，步骤131可以包括：根据公式(1)确定m个样本两两之间的余弦相似度s，公式(1)中a、b为n维特征向量。
74.s＝((a
·
b)/(||a||||b||) 1)/2
ꢀꢀꢀꢀ
(1)
75.步骤132，对所述余弦相似度进行归一化处理，即，将同一特征的值规范化到[0,1]区间，0代表不相似，1代表相似。
[0076]
步骤14，将所述余弦相似度作为网页排名算法中的链上权重值，进行迭代计算，对服务地址特征向量进行相似重要程度排序。
[0077]
在本公开的一些实施例中，步骤14可以包括：利用改进的pagerank算法，对m个样本进行相似程度排序。
[0078]
在本公开的一些实施例中，步骤14可以包括步骤141-步骤144，其中：
[0079]
步骤141，构建不同服务地址之间或同一服务地址不同时间周期之间的链接图，将所述余弦相似度作为网页排名算法中的链上权重值。
[0080]
步骤142，初始化每个服务地址向量的相似重要程度值均相等，其中，所有服务地址向量的相似重要程度值的和为1。
[0081]
步骤143，重新迭代计算每个服务地址向量的相似重要程度值。
[0082]
在本公开的一些实施例中，步骤143可以包括：根据公式(2)确定第i个服务地址向量迭代后的相似重要程度值r_
i
。
[0083]
r_
i
＝σ(s
ij
*r
j
)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0084]
公式(2)中，1≤i≤m，1≤j≤m，i、j为自然数，j≠i，r
j
为第j个服务地址向量的当
前相似重要程度值，s
ij
为第i个服务地址向量和第j个服务地址向量的余弦相似度(链上权重值)。
[0085]
图2为本公开一些实施例中不同服务地址之间或同一服务地址不同时间周期之间的链接示意图。如图2所示，共给出了第1、2、j、m等四个服务地址向量的当前相似重要程度值r1、r2、r
j
、rm，以及第i个服务地址向量迭代后的相似重要程度值r_
i
，以及第i个服务地址向量和第j个服务地址向量的链上权重值s
ij
。
[0086]
步骤144，在迭代收敛的情况下，对服务地址特征向量进行相似重要程度值重新排序。
[0087]
在本公开的一些实施例中，步骤143可以包括：由于是全连通网络，迭代最终收敛，在收敛后将m个特征向量按r的大小重新排序。
[0088]
图3为本公开一些实施例中相似重要程度值序列的示意图。图3给出了本公开一些实施例中迭代收敛的情况下对服务地址特征向量进行相似重要程度值重新排序后相似重要程度值序列的示意图。
[0089]
步骤15，从相似重要程度序列中按照预定顺序截取预定数目k的服务地址特征向量，将截取的服务地址作为异常服务地址。
[0090]
在本公开的一些实施例中，步骤15可以包括：按照相似重要程度从小到大的顺序，从相似重要程度序列中截取预定数目k的服务地址特征向量，将截取的服务地址作为异常服务地址。
[0091]
在本公开的另一些实施例中，步骤15可以包括：按照相似重要程度从大到小的顺序，从相似重要程度序列中截取预定数目k的服务地址特征向量，将截取的服务地址作为低频持续性攻击行为的服务地址。
[0092]
在本公开的一些实施例中，步骤15可以包括：按照相似重要程度从小到大的顺序，从相似重要程度序列小于第一预定阈值的相似重要程度序列中截取预定数目k的服务地址特征向量，将截取的服务地址作为异常服务地址。
[0093]
在本公开的一些实施例中，步骤15可以包括：按照相似重要程度从大到小的顺序，从相似重要程度序列大于第二预定阈值的相似重要程度序列中截取预定数目k的服务地址特征向量，将截取的服务地址作为低频持续性攻击行为的服务地址。
[0094]
本公开上述实施例利用同样的方法，既可以检测单个服务地址的异常行为(后k个行为)，也可检测单个服务地址看似没有异常的低频持续性攻击行为(前k个行为)。
[0095]
基于本公开上述实施例提供的异常服务地址检测方法，可以对服务地址异常信息进行安全检测方法和系统，不同于相关计算的异常值检测技术，本公开上述实施例是一种基于链接关系的检测方法，本公开上述实施例构造不同服务地址之间或同一服务地址不同之间的链接图，利用pagerank算法原理，计算不同服务地址或同一服务地址不同时间周期的相似程度，从而可以发现行为有异常的不安全服务地址。
[0096]
本公开上述实施例异常服务地址检测方法是一种提升了异常服务地址检测效率的方法，使用基于链接关系的检测方法，节省了检测资源开销，提升了检测发现效率。
[0097]
本公开上述实施例提供了一种基于服务地址构建特征向量，计算特征向量间的余弦相似度，通过计算不同服务地址或同一服务地址不同时间周期的关联相似度，从而发现有行为异常服务地址的方法。
[0098]
与相关计算的基于距离、密度、时间序列的异常值检测技术不同，本公开上述实施例将异常值检测转换为特征向量之间链接关系重要性排序问题，提出了一种解决服务地址异常检测的新思路和新方法，能够定量地反映异常值的偏离度。
[0099]
本公开上述实施例不仅适用于群体地址中的异常个体地址检测，也适用于具有时间特征的同一个体周期性的异常检测。
[0100]
图4为本公开异常服务地址检测方法另一些实施例的示意图。优选的，本实施例可由本公开异常服务地址检测装置执行。图4实施例的步骤41和步骤42分别于图1实施例的步骤11和步骤12相同或类似，图4实施例的步骤43可以包括图1实施例的步骤13-步骤15，因此这里不再对图4实施例的步骤41-步骤43进行详细描述。图4实施例的方法可以包括以下步骤41-步骤45，其中：
[0101]
步骤41，采集并处理日志数据。
[0102]
步骤42，从日志数据中提取服务地址特征向量。
[0103]
步骤43，采用基于链接关系的检测方式，确定异常服务地址。
[0104]
在本公开的一些实施例中，步骤43可以包括图1实施例的步骤13-步骤15。
[0105]
在本公开的一些实施例中，步骤43可以包括：计算两两特征向量之间的余弦相似度，并将同一特征的值规范化到[0,1]区间，其中0代表不相似，1代表相似；将上述值作为pagerank算法的链上的权重值，进行迭代计算，最终生成特征向量的相似重要程度排序；从后向前截取序列中的k个值作为异常值。
[0106]
步骤44，针对异常服务地址进行告警，以便用户对告警的异常服务地址进行人工判断。
[0107]
步骤45，将人工判断错误的异常服务地址反馈至步骤43，在步骤43中增加权重提升排序值的准确性。
[0108]
步骤46，采用其他异常检测方式获取异常服务地址，将其他异常检测方式获取的异常服务地址与采用基于链接关系的检测方式(步骤43)确定异常服务地址相结合，以提升异常地址检测的准确度。
[0109]
在本公开的一些实施例中，所述其他异常检测方式可以包括基于密度、分布、模型分类、基于距离的聚类算法等技术的异常检测方式。
[0110]
本公开上述实施例可与其它异常检测方法结合使用，如基于距离的聚类算法，能够提升异常地址检测的准确度。
[0111]
图5为本公开异常服务地址检测装置一些实施例的示意图。本公开异常服务地址检测装置可以包括数据采集模块51、特征向量提取模块52、相似度计算模块53、排序模块54和异常地址确定模块55，
[0112]
其中：
[0113]
数据采集模块51，用于采集并处理日志数据。
[0114]
特征向量提取模块52，用于从日志数据中提取服务地址特征向量。
[0115]
相似度计算模块53，用于计算服务地址特征向量间的余弦相似度。
[0116]
在本公开的一些实施例中，相似度计算模块53可以用于计算不同服务地址之间、或同一服务地址不同时间周期之间的余弦相似度。
[0117]
在本公开的一些实施例中，相似度计算模块53可以用于计算所有服务地址向量中
每两个服务地址之间的余弦相似度；对所述余弦相似度进行归一化处理。
[0118]
排序模块54，用于将所述余弦相似度作为网页排名算法中的链上权重值，对服务地址特征向量进行相似重要程度排序。
[0119]
在本公开的一些实施例中，排序模块54可以用于构建不同服务地址之间或同一服务地址不同时间周期之间的链接图，将所述余弦相似度作为网页排名算法中的链上权重值；初始化每个服务地址向量的相似重要程度值均相等，其中，所有服务地址向量的相似重要程度值的和为1；重新迭代计算每个服务地址向量的相似重要程度值；在迭代收敛的情况下，对服务地址特征向量进行相似重要程度值重新排序。
[0120]
在本公开的一些实施例中，排序模块54在重新迭代计算每个服务地址向量的相似重要程度值的情况下，可以用于根据公式(2)确定第i个服务地址向量迭代后的相似重要程度值r_
i
，公式(2)中，1≤i≤m，1≤j≤m，i、j为自然数，j≠i，r
j
为第j个服务地址向量的当前相似重要程度值，s
ij
为第i个服务地址向量和第j个服务地址向量的余弦相似度(链上权重值)。
[0121]
异常地址确定模块55，用于从相似重要程度序列中按照预定顺序截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址。
[0122]
在本公开的一些实施例中，异常地址确定模块55可以用于按照相似重要程度从小到大的顺序，从相似重要程度序列中截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址。
[0123]
在本公开的一些实施例中，异常地址确定模块55可以用于按照相似重要程度从大到小的顺序，从相似重要程度序列中截取预定数目的服务地址特征向量，将截取的服务地址作为低频持续性攻击行为的服务地址。
[0124]
在本公开的一些实施例中，异常地址确定模块55可以用于按照相似重要程度从小到大的顺序，从相似重要程度序列小于第一预定阈值的相似重要程度序列中截取预定数目的服务地址特征向量，将截取的服务地址作为异常服务地址。
[0125]
在本公开的一些实施例中，异常地址确定模块55可以用于按照相似重要程度从大到小的顺序，从相似重要程度序列大于第二预定阈值的相似重要程度序列中截取预定数目的服务地址特征向量，将截取的服务地址作为低频持续性攻击行为的服务地址。
[0126]
在本公开的一些实施例中，所述异常服务地址检测装置还可以用于针对异常服务地址进行告警。
[0127]
在本公开的一些实施例中，提供一种所述异常服务地址检测装置用于执行实现如上述任一实施例(例如图1-图4任一实施例)所述的异常服务地址检测方法的操作。
[0128]
基于本公开上述实施例提供的异常服务地址检测装置，与其它异常检测最大的不同在于改进了异常识别的实现方式，可以基于图链接关系实现异常检测。本公开上述实施例可以从数据清洗和特征提取模块获取服务地址特征向量，计算特征向量间的余弦相似度，作为pagerank算法中的链上权重，对特征向量进行相似程度排序计算，根据阈值从排序中截取k个特征向量作为异常，输出给异常告警模块。
[0129]
本公开上述实施例可实现基于服务地址构建特征向量，计算特征向量间的余弦相似度，利用pagerank算法原理实现，实现简单，计算量小，对于大数据量样本还可分布式执行。
[0130]
图6为本公开异常服务地址检测装置另一些实施例的示意图。本公开异常服务地址检测装置可以包括存储器61和处理器62，其中：
[0131]
存储器61，用于存储指令；
[0132]
处理器62，用于执行所述指令，使得所述装置执行实现如上述任一实施例(例如图1-图4任一实施例)所述的异常服务地址检测方法的操作。
[0133]
本公开上述实施例属于互联网、人工智能领域。
[0134]
本公开上述实施例适用于服务地址检测的应用场景，包括：1)违法和不良信息等具有异常状况服务地址的检测发现；2)同一个体地址某时间段的异常检测。
[0135]
本公开上述实施例提供了一种一种提升异常服务地址检测效率的异常服务地址检测装置，使用基于链接关系的检测方式，节省了检测资源开销，提升了检测发现效率。
[0136]
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图1-图4任一实施例)所述的异常服务地址检测方法。
[0137]
基于本公开上述实施例提供的计算机可读存储介质，可以基于服务地址构建特征向量，计算特征向量间的余弦相似度，通过计算不同服务地址或同一服务地址不同时间周期的关联相似度，从而发现有行为异常服务地址。
[0138]
本公开上述实施例不仅适用于群体地址中的异常个体地址检测，也适用于具有时间特征的同一个体周期性的异常检测。
[0139]
本公开上述实施例利用同样的方法，既可以检测单个服务地址的异常行为(后k个行为)，也可检测单个服务地址看似没有异常的低频持续性攻击行为(前k个行为)。
[0140]
本公开上述实施例可与其它异常检测方法结合使用，如基于距离的聚类算法，能够提升异常地址检测的准确度。
[0141]
在上面所描述的异常服务地址检测装置可以实现为用于执行本技术所描述功能的通用处理器、可编程逻辑控制器(plc)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
[0142]
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
[0143]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0144]
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。