一种基于行为模式的攻击URL检测方法、装置及系统

一种基于行为模式的攻击url检测方法、装置及系统
技术领域
1.本发明属于网络安全领域，更具体地，涉及一种基于行为模式的攻击url检测方法、装置及系统。


背景技术：

2.近年来，网络安全问题给社会各界带来的影响越来越严重，特别是随着基于源代码分析技术的供应链攻击导致各种0day漏洞层出不穷，而此类漏洞也是最难防护的。公开号为cn 111259279 a的中国发明专利公开了一种基于动态特征提取的攻击url检测方法，该方法使用深度学习中的循环神经网络对攻击url进行特征提取，从而学习攻击url共用的特征，手工编写匹配规则进行匹配。公开号为cn 108965336 a的中国发明专利公开了一种攻击检测方法及装置，该方法及装置预先配置攻击特征决策树，该决策树由顺序连接的若干层组成，且每层由顺序连接的若干节点组成，通过遍历所述决策树中的各节点，查找网络报文中是否包括各节点存储的攻击。
3.以上两种方法都需要同一个预先条件，即需要掌握大量已知攻击，从中总结发现攻击特征量后，再由此发现其他已知或未知的攻击，因而存在对某些全新的0day攻击url无法发现的问题，且由于web网站的多样性还可能出现误报的问题。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于行为模式的攻击url检测方法、装置及系统，不需要对任何已知攻击知识的掌握，通过对黑客攻击前期普遍存在的“探测-失败”的行为特征进行统计分析，并由此判断出攻击url，误报率和漏报率低。
5.为实现上述目的，按照本发明的第一方面，提供了一种基于行为模式的攻击url检测方法，包括：s1，实时采集并保存各网站的访问日志；s2，提取所述各网站的非正常响应特征；其中，所述非正常响应特征为所述各网站对于非正常访问的响应数据的特征；s3，按预设周期从所述访问日志中提取探测访问；其中，所述探测访问为同一源ip对至少两个不同网站的相同url的访问；s4，判断所述探测访问的响应内容中是否存在非正常访问的响应码或是否存在所述非正常响应特征，若是，则所述探测访问的url为攻击url。
6.按照本发明的第二方面，提供了一种基于行为模式的攻击url检测装置，包括：日志采集模块，用于实时采集并保存各网站的访问日志；非正常响应特征提取模块，用于提取所述各网站的非正常响应特征；其中，所述非正常响应特征为所述各网站对于非正常访问的响应数据的特征；统计分析模块，用于按预设周期从所述访问日志中提取探测访问；其中，所述探测访问为同一源ip对至少两个不同网站的相同url的访问；
攻击判断模块，用于判断所述探测访问的响应内容中是否存在所述非正常响应特征，若是，则所述探测访问的url为攻击url；若否，则所述探测访问的url为非攻击url。
7.按照本发明的第三方面，提供了一种基于行为模式的攻击url检测系统，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指令；所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面所述的方法。
8.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明提供的基于行为模式的攻击url检测方法，涉及web安全中攻击url检测方法研究，是一种基于网络攻击前期探测阶段的行为特征进行自动检测并提取的方法，利用黑客攻击前期普遍存在的“踩点”行为，即“探测-失败”，作为攻击url的识别特征，适用于对未知攻击行为的早期发现和检测。由于设置的判断条件非常明确和简单，因此误报率和漏报率都较低，特别是不需要基于任何先验攻击知识，对未知攻击可以起到提前预防的作用。
9.需要说明的是，以上阐述的技术方案主要针对有多个网站的网站群或数据中心，若为单网站实现更为简单，非正常响应特征提取模块可去掉，出现失败访问（即具有探测行为的访问）的url时只需判断不是本网站正常url即可判定为攻击url。
附图说明
10.图1为本发明实施例提供的访问日志的一种结构示意图。
11.图2为本发明实施例提供的fuzz测试模块中记录的一种结构示意图。
12.图3为本发明实施例提供的攻击检测方法的流程示意图。
13.图4为本发明实施例提供的攻击检测装置的结构示意图。
具体实施方式
14.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
15.目前针对web应用的未知攻击url识别一般都采取基于对已知攻击特征的机器学习，期望找到某些共通特征来由此生成识别未知攻击的规则或模式等。而这样的方法必须预先掌握足够的已知攻击，否则就会出现漏报，对一些全新的0day攻击也无法识别。特别是由于攻击的多样性和特定性，比如有些攻击url支队某些系统有害，对其他系统可能是正常访问，此时这类方法就会出现误报的情况。
16.基于此，本发明提供的方法是一种基于黑客攻击前期普遍存在甚至是必要的“踩点”阶段的行为特征进行判断的攻击url识别方法。由于“踩点”行为存在不可避免的广泛性和低成功率，因此从网站访问日志中分析出一段连续时间内同一源ip访问不同网站相同url的行为，即为“探测”；而这个探测行为若出现失败的结果，即“探测-失败”模式成立，可判定该目的url为攻击url。
17.本发明实施例提供一种基于行为模式的攻击url检测方法，包括：s1，实时采集并保存各网站的访问日志。
18.具体地，采集保存网站所有访问。优选地，如图1所示，日志内容至少包括以下元素：日期时间、源ip地址（以下简称源ip）、目的ip地址（以下简称目的ip）、目的端口、应用协议（http或https）、http请求头host部分（以下简称host）、完整url（包括参数，以下简称url）、http响应码（以下简称响应码）。
19.日志采集并保存是持续不断执行的，采集保存统计分析所需的数据内容，包括网站访问请求及回应的几个必要部分以供后续的统计分析使用，。因为这些功能和网站系统一般的日志功能基本一致，所以基本上只要开启网站本身的日志功能，并实现能实时采集这些日志内容到一台服务器保存供后续统一分析即可。
20.s2，提取所述各网站的非正常响应特征（下文称为失败特征）；其中，所述非正常响应特征为所述各网站对于非正常访问的响应数据的特征。
21.具体地，分析网站在回应非正常访问时的特征。
22.网站在响应码正常设置和实现的情况下应如下情况：信息响应(100
–
199)成功响应(200
–
299)重定向(300
–
399)客户端错误(400
–
499)服务器错误 (500
–
599)。
23.其中响应码为2**时应为正常访问，其余都可视为失败访问。
24.但由于现实中很多网站没有进行这样标准的设置，对于很多非法访问也都是回复响应码200，只是在响应内容中进行非法访问提示。响应内容的基本内容一般都是比较固定的。
25.为此，优选地，基于fuzz测试方法提取所述各网站的非正常响应特征。
26.优选地，基于fuzz测试方法随机生成url对所述各网站进行访问测试，从所述各网站对于非正常访问的响应数据中提取所述非正常响应特征。
27.通过主动模糊测试，分析网站在回应非正常访问时的特征。也即，通过fuzz探测算法测试出各网站对于非正常访问的响应数据包特征。
28.通过fuzz测试方法将上述响应码正常却在响应内容中提示非法访问的情况预先识别出来，并对响应内容做字节数范围和固定响应内容特征的提取，从而向攻击判定模块进一步提供失败访问行为的判定依据。
29.进一步地，fuzz测试不必频繁执行，只需周期性（例如一天一次）对日志中出现的网站（由应用协议、目的ip、host以及访问端口唯一定义）或出现新网站时进行一定量的模糊测试即可。测试方法如下：1）使用fuzz测试的方法随机形成大量包含各种字符、字母及数字的url对日志中出现各网站进行访问测试，采集保存http响应数据包全部内容。其中字符的集合可以包含除字母和数字之外任何可网络传输和计算机表示的符号。
30.2）fuzz测试的url数量总量可根据测试使用符号组合以及测试url的长度来决定，保证测试充分即可。测试url至少包含这几类：全部字母、包含字母数字、包含字母数字字
符。
31.3）对各网站分别进行统计分析，对http响应数据去掉响应码为2**或301等正常访问响应码的数据后再进行统计分析。
32.统计方法如下：3.1）首先检查访问url是否包含在响应内容中，如果出现了，则将响应内容字节数减去url的字节数，响应内容中过滤掉url。请注意此处的响应内容指http响应体部分，不包括http响应头。
33.3.2）然后对同一个网站，分别对不同测试url类的响应内容字节数进行平均数统计，响应内容做相同字符串提取操作，将平均数
±
10%的数值范围和相同字符串作为该网站非正常访问特征，并记录下来形成图2的结构。
34.可以理解的是，可以采用现有的任一种fuzz测试方法将上述响应码正常却在响应内容中提示非法访问的情况预先识别出来。即fuzz测试的目的就是掌握各网站对非正常访问的响应特征，如果有条件也可直接从各网站管理员处直接获取相应信息即可。
35.s3，按预设周期从所述访问日志中提取探测访问（即具有探测行为的访问）；其中，所述探测访问为同一源ip对至少两个不同网站的相同url的访问。
36.具体地，如图3所示对一段连续时间内的日志进行探测行为特征的统计分析，将具有“探测”特征的访问找出来。
37.为完成“探测”行为特征识别，分析步骤如下：1）去掉url为各种图片、视频、文档、css及js等的文件访问的日志记录。
38.2）提取日志每条记录中源ip、目的ip、目的端口、host、url、应用协议以及响应码7个元素进行统计。
39.3）统计出源ip和url相同但(应用协议，目的ip，目的端口，host)四元组不同且四元组总数超过2个的访问。(应用协议，目的ip，目的端口，host)四元组可唯一定义一个网站，因此四元组不同则表示为不同网站。以上统计的含义为：在一段短的连续时间内，同一个访问者（源ip）访问了2个及以上的不同网站的相同url，因为具有“探测”行为特征。
40.可以理解的是，由于本方法是基于行为分析，需要累积一定量的访问才能准确分析出行为特征，因此步骤s2（统计分析）是周期执行，而不是实时的，攻击判定结果会有一定的时间滞后。
41.步骤s2（统计分析）和步骤s3（攻击判定）应设置周期执行。周期长度的设置不能太短，例如秒级，这将导致无法采集到足够量的攻击访问；也不能设置周期太长，例如天、月等，这会导致误报出现。
42.优选地，所述预设周期以分钟为单位。
43.具体地，为了保证攻击检测具备一定的时效性，结合“踩点”一般都是程序自动完成并要求有一定效率的特点（从而短时间内也可捕获到），所以建议一般可将统计分析的周期设置为以分钟为单位。
44.s4，判断所述探测访问的响应内容中是否存在非正常访问的响应码或是否存在所述非正常响应特征，若是，则所述探测访问的url为攻击url。
45.具体地，判断步骤s3中统计出的结果（即探测访问）是否存在失败特征，若存在则判定该访问为攻击，访问的url为攻击url。也即，判断步骤s3中找出的具有“探测”特征的访
问是否同时具备“失败”的特点。
46.当所述探测访问的响应内容中存在非正常访问的响应码或所述非正常响应特征，则判定所述探测访问的url为攻击url；当所述探测访问的响应内容中不存在非正常访问的响应码，并且也不存在所述非正常响应特征，则判定所述探测访问的url为非攻击url。
47.优选地，所述非正常响应特征包括所述各网站对于非正常访问的响应数据中的字节数范围和字节内容。
48.优选地，若所述探测访问的响应数据中的字节数范围在所述非正常响应特征的字节数范围内、且所述探测访问的响应内容中的字节内容与所述非正常响应特征的字节内容的相似度大于预设阈值，则认为所述探测访问的响应数据中存在所述非正常响应特征。
49.优选地，在判断所述探测访问的响应数据中是否存在所述非正常响应特征之前，还包括：若所述探测访问的url包含在所述探测访问的响应内容中，则将所述响应内容的字节数减去所述url的字节数，并从所述响应内容中过滤掉所述url部分。
50.具体地，步骤s4进行“失败”特征访问的判断方法如下：1）若步骤s3输出结果中存在非2**、301等表示访问正常的响应码时，判定该url为攻击url。
51.2）若步骤s3输出结果中存在与步骤s2中记录的结果（即非正常响应特征）匹配的情况，判定该url为攻击url。
52.结果匹配的判定方法如下：2.1）首先检查访问url是否包含在响应内容中，如果出现，则将响应数据字节数减去url的字节数，响应内容过滤掉url部分，然后找到fuzz测试模块中对应该网站的记录做字节数范围判定和响应内容的相似度匹配。响应内容的相似度可控制在98%以内。
53.2.2）响应内容的相似度计算可使用各种常见的字符串相似度计算算法，推荐python语言实现的difflib.sequencematcher算法。
54.下面对本发明提供的一种基于行为模式的攻击url检测装置进行描述，下文描述的一种基于行为模式的攻击url检测装置与上文描述的一种基于行为模式的攻击url检测方法可相互对应参照。
55.本发明实施例提供一种基于行为模式的攻击url检测装置，包括：日志采集模块，用于实时采集并保存各网站的访问日志；非正常响应特征提取模块，用于提取所述各网站的非正常响应特征；其中，所述非正常响应特征为所述各网站对于非正常访问的响应数据的特征；统计分析模块，用于按预设周期从所述访问日志中提取探测访问；其中，所述探测访问为同一源ip对至少两个不同网站的相同url的访问；攻击判断模块，用于判断所述探测访问的响应内容中是否存在所述非正常响应特征，若是，则所述探测访问的url为攻击url；若否，则所述探测访问的url为非攻击url。
56.具体地，日志采集模块功能是采集保存统计分析所需的数据内容，保证采集保存网站访问请求及回应的几个必要部分以供统计分析模块工作。统计分析模块负责完成“探测”行为特征识别，统计分析模块将符合条件的结果输出给攻击判定模块，由它负责完成“失败”特征识别。
57.优选地，当基于fuzz测试方法提取所述各网站的非正常响应特征时，所述非正常
响应特征提取模块即为fuzz测试模块，如图4所示。fuzz测试模块的功能是通过主动模糊测试，分析网站在回应非正常访问时的特征。
58.本发明实施例提供一种基于行为模式的攻击url检测系统，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指令；所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如上述任一实施例所述的方法。
59.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。