一种日志的检测方法、装置及存储介质与流程

1.本发明涉及web日志分析技术领域，尤其涉及一种日志的检测方法、装置及存储介质。


背景技术：

2.随着互联网技术的快速发展，越来越多的黑客在巨额利益的驱使下，从单一的攻击行为发展成为有组织、有规模对web系统进行持续性长的攻击，对商家和人民造成巨大的经济损失，对社会造成恶劣的影响。由此可见对web系统的安全保护变得及其重要，而对日志的分析成为异常行为检测的关键方法，但是目前还没有一个高效易用的web日志分析方法来进行异常行为的分析，即快速有效的发现安全漏洞并做出迅速的拦截。但是，目前传统的日志分析方法存在误报率高、耗时长的缺点。
3.因此，迫切需要一种方法来快速有效的分析日志发现安全漏洞，保护web系统的安全。


技术实现要素：

4.本发明提供了一种日志的检测方法、装置及存储介质，以解决现有的日志检测方法效率低的问题。
5.为了解决上述技术问题，本技术第一方面提供一种日志的检测方法，应用于web系统，所述方法包括：
6.对web系统的访问日志中目标日志数据进行特征提取，得到模型训练样本；
7.根据所述模型训练样本对预设分类决策模型进行训练，得到漏洞检测模型；
8.将待检测日志文件输入至所述漏洞检测模型，输出所述待检测日志文件的异常检测结果；其中，所述异常检测结果包括：所述待检测日志文件为正常文件、所述待检测日志文件为漏洞文件。
9.本技术第二方面提供一种日志的检测装置，应用于web系统，所述装置包括：
10.获取模块，用于对web系统的访问日志中目标日志数据进行特征提取，得到模型训练样本；
11.训练模块，用于根据所述模型训练样本对预设分类决策模型进行训练，得到漏洞检测模型；
12.检测模块，将待检测日志文件输入至所述漏洞检测模型，输出所述待检测日志文件的异常检测结果；其中，所述异常检测结果包括：所述待检测日志文件为正常文件、所述待检测日志文件为漏洞文件。
13.本技术第三方面提供一种电子设备，所述电子设备包括处理器、存储器及通信总线；
14.所述通信总线用于实现所述存储器、处理器之间的连接通信；所述处理器用于执行所述存储器中存储的计算机程序，以使得所述设备执行第一方面中的日志检测方法。
15.本技术第四方面提供一种计算机可读存储介质，用于存储计算机程序，包括指令，所述计算机程序被执行时，实现第一方面中的日志检测方法。
16.本发明的有益效果在于：通过对web系统的访问日志中目标日志数据进行特征提取，得到模型训练样本；根据所述模型训练样本对预设分类决策模型进行训练，得到漏洞检测模型；将待检测日志文件输入至所述漏洞检测模型，输出所述待检测日志文件的异常检测结果；其中，所述异常检测结果包括：所述待检测日志文件为正常文件、所述待检测日志文件为漏洞文件。由此，只需要少量的模型训练样本以及对模型训练样本的简单处理，即可得到漏洞检测模型，进而对待检测日志文件进行检测，使用方便同时可以实现漏洞检测的高准确率。
附图说明
17.下面结合附图详述本发明的具体结构
18.图1为本发明的第一实施例的日志的检测方法的整体流程图。
19.图2为本发明的第一实施例的模型训练样本获取方法的流程图。
20.图3为本发明的第一实施例的训练样本示意图。
21.图4为本发明的第一实施例的漏洞检测模型获取方法的流程图。
22.图5为本发明的第二实施例的日志检测装置的程序框图。
23.图6为本发明的第三实施例的电子装置的结构示意图。
具体实施方式
24.为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
25.请参阅图1，图1为本发明的第一实施例的日志的检测方法的整体流程图。本实施例介绍一种日志的检测方法，可以应用于web系统。
26.该方法包括：
27.步骤s1、对web系统的访问日志中目标日志数据进行特征提取，得到模型训练样本；
28.可选的，对web系统的访问日志的获取方式可以通过在网站的服务器上进行获取，且采用单分类模型，将正常的日志进行筛选出来，本实施例中可以筛选出3000条左右的日志。
29.本实施例中在所述对web系统的访问日志中目标日志数据进行特征提取，得到模型训练样本的步骤之前，还包括如下步骤：
30.获取所述web系统的访问日志中所有类型日志数据的重要级别；
31.根据所述重要级别从所述所有类型日志数据中，选择所述目标日志数据。
32.具体的，可参照表1，表1为获取的一条访问日志的信息。
[0033][0034]
在获取每条访问日志中可以看到日志数据分为多个级别，分别为客户端ip、分隔符、访问时间、访问方法及访问路径等。其中，可以针对访问路径预置最高重要级别，由此本实施例中可以将访问路径作为目标日志数据。
[0035]
在一可选地实施方式中，需要考虑对web系统的访问日志的访问路径数据进行特征提取，得到模型训练样本的具体步骤。具体请参考图2，图2为本发明的第一实施例提供的模型训练样本获取方法的流程图。则步骤s1包括如下步骤：
[0036]
步骤s11、对web系统的访问日志的访问路径数据进行分词提取；其中，每个分词对应一个维度向量；
[0037]
在本实施例中，对访问路径数据进行提取分词，所得到的每个分词放入对应的向量位置，例如abcd，进行2
‑
grams分词处理后可以得到三个分词ab、bc及cd，每个分词放入对应的向量位置为[ab,bc,cd]，其中，分词ab对应向量中的第一维位置，分词bc对应向量中的第二维位置，分词cd对应向量中的第三维位置。
[0038]
步骤s12、计算所提取的分词的分类值，并将所述分类值填入对应向量位置，得到模型训练样本。
[0039]
可选的，所述计算所提取的分词的分类值的步骤，具体包括：
[0040]
计算所提取的分词在所归属的字符串中的词频值；
[0041]
获取多条字符串，计算所提取的分词在所述多条字符串中的逆路径频率值；
[0042]
根据所述词频值以及所述逆分词频率值，计算出所述所提取的分词对应的分类值。
[0043]
可选的，对访问路径数据的字符串可采用n
‑
grams对分词进行提取，其中n为文本中连续出现的n词语。n的取值可以为2或3，本实施例中例如取n＝2时，即2
‑
grams来举例:
[0044]
假设访问路径包含100种可打印字符。那么对于每条访问路径数据，2
‑
grams分词
出来后，都有对应的一个维度的向量。对于某条访问路径的第一目标字符串，如abcd，进行2
‑
grams分词出来后是[ab,bc,cd]，计算[ab,bc,cd]对应的tf
‑
idf值，其中，tf是指代词频值，idf指代逆路径频率值；即tf＝该分词在每条路径中出现的次数/每条路径中的总分词数；idf＝log(路径总数目/包含该分词的路径数目 1)，再将tf和idf两者相乘得到分类值即tf
‑
idf值。
[0045]
将每个分词计算得到的tf
‑
idf值填入对应的向量元素里面，即得到模型训练样本，可参照图3，图3为本发明的第一实施例提供的训练样本示意图。
[0046]
对于某个日志样本，就可以用1002的向量(即1002个元素)描述，则对于多个日志样本，例如m个，即有m
×
1002的向量矩阵。
[0047]
步骤s2、根据所述模型训练样本对预设分类决策模型进行训练，得到漏洞检测模型；
[0048]
可选的，预设分类决策模型可以采用one class svm模型。具体请参考图4，图4为本发明的第一实施例提供的漏洞检测模型获取方法的流程图。则步骤s2包括如下步骤：
[0049]
步骤s21、调用one class svm模型；
[0050]
本实施例中的one class svm模型表示为：
[0051][0052]
||x
i
‑
o||2≤r ζ
i
,i＝1,2,3...m
[0053]
ζ
i
≥0,i＝1,2...m
[0054]
其中，o为球体中心，r为超球体半径，v(r)为超球体体积，c为惩罚系数，ζ
i
为松弛变量。
[0055]
需要了解的是one class svm模型中包括多个函数，本实施例中只采用其中一个核函数。可选的，所述核函数可以采用径向基函数，即可以将变量x映射到高向量空间y上，实现日志样本数据从低维到高维的转变，也即从平面到空间的转变，用于对日志样本数据的有效分类。
[0056]
本实施例中所得到的分类决策模型表示为：
[0057][0058]
其中，x
(i)
为行向量，σ为样本方差的算术平方根，γ为k为核函数。
[0059]
步骤s22、将所述模型训练样本输入至所述分类决策模型进行模型训练，对所述分类决策模型进行参数调优，得到所述漏洞检测模型。
[0060]
需要了解的是，本实施例中需要对两个参数x
′
和σ分别进行调优，其中，x
′
为模型中数据的均值(也即样本点被错误分类所占比例的上界)，σ指方差的算术平均根(σ越小，核函数越陡峭，σ越大，核函数越平坦)。在实际操作中，x
′
的取值范围在{0.001,0.1}之间，σ的取值范围在{0.000001,1}之间。最后进行f1值计算，取f1值最大时对应的x
′
和σ，此时便可以得到确定的漏洞检测模型。
[0061]
在得到确定的漏洞检测模型之后，便可以直接识别待检测的日志文件的异常，对
于待检测的日志文件的特征向量求解方式与上述实施例中的方式类似，通过特征向量的计算代入漏洞检测模型，满足漏洞检测模型时，那么所检测的日志文件为正常日志文件；不满足漏洞检测模型时，那么所检测的日志文件为异常日志文件即漏洞文件。
[0062]
需要了解的是，漏洞文件可以为get方法的注入、xss和web rce攻击，还能辨别web蠕虫传播、目录爆破等攻击。
[0063]
第二实施例
[0064]
请参考图5，图5为本发明的第二实施例的日志检测装置的程序框图。本实施例提供一种日志检测装置，应用于web系统，该装置包括获取模块100、训练模块200和检测模块300。
[0065]
获取模块100，用于对web系统的访问日志中目标日志数据进行特征提取，得到模型训练样本；
[0066]
训练模块200，用于根据所述模型训练样本对预设分类决策模型进行训练，得到漏洞检测模型；
[0067]
检测模块300，将待检测日志文件输入至所述漏洞检测模型，输出所述待检测日志文件的异常检测结果；其中，所述异常检测结果包括：所述待检测日志文件为正常文件、所述待检测日志文件为漏洞文件。
[0068]
在本实施例一种实施方式中，上述获取模块100，具体用于：对web系统的访问日志的访问路径数据进行分词提取；其中，每个分词对应一个维度向量；计算所提取的分词的分类值，并将所述分类值填入对应向量位置，得到模型训练样本。
[0069]
进一步地，在本实施例一种实施方式中，获取模块100在执行计算所提取的分词的分类值的功能时，具体用于：计算所提取的分词在所归属的字符串中的词频值；获取多条字符串，计算所提取的分词在所述多条字符串中的逆路径频率值；根据所述词频值以及所述逆路径频率值，计算出所述所提取的分词对应的分类值。
[0070]
在本实施例一种实施方式中，训练模块200，具体用于：调用one class svm模型；将所述模型训练样本输入至所述分类决策模型进行模型训练，对所述分类决策模型进行参数调优，得到所述漏洞检测模型。
[0071]
本实施例中采用的one class svm模型表示为：
[0072][0073]
||x
i
‑
o||2≤r ζ
i
,i＝1,2,3...m
[0074]
ζ
i
≥0,i＝1,2...m
[0075]
其中，o为球体中心，r为超球体半径，v(r)为超球体体积，c为惩罚系数，ζ
i
为松弛变量。
[0076]
进一步的，得到的分类决策模型表示为：
[0077][0078]
其中，x
(i)
为行向量，σ为样本方差的算术平方根，γ为k为核函数。
[0079]
在本实施例一种实施方式中，日志检测装置还包括：选择模块，用于：获取web系统的访问日志中所有类型日志数据的重要级别；根据重要级别从所有类型日志数据中，选择目标日志数据。
[0080]
第三实施例
[0081]
本实施例提供了一种电子设备，参见图6所示，其包括处理器501、存储器502及通信总线503，其中：通信总线503用于实现处理器501和存储器502之间的连接通信；处理器501用于执行存储器502中存储的一个或者多个计算机程序，以实现上述实施例一中的日志检测方法中的至少一个步骤。
[0082]
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于ram(random access memory，随机存取存储器),rom(read
‑
only memory，只读存储器),eeprom(electrically erasable programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、cd
‑
rom(compact disc read
‑
only memory，光盘只读存储器)，数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
[0083]
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。
[0084]
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
[0085]
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
[0086]
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
[0087]
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
[0088]
为了实现上述实施例，本技术实施例还提出一种电子设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。
[0089]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。