一种基于日志数据的自定义日志告警方法和装置与流程

1.本发明涉及网络安全领域，基于日志数据字段的自定义告警方法的实现方法和步骤。


背景技术：

2.如今的大数据时代下，网络应用多种多样，各种应用由于软件程序本身的设计实现问题，依靠各个应用软件本身的网络安全防御，是一件很难的事情。所以现在的各个互联网服务器，局域网服务器，都选择购买安装一些专业的网络安全产品来提高服务器的安全性。
3.在网络安全产品在防护的过程中，采用日志的方式将防护信息告诉运维人员的常用的方式。但是这就需要运维人员主动的去查看日志文件，以致于工作效率不高，工作量较大。而且目前的网络安全产品日志监控告警都是固定了几个告警指标，上线后，想修改监控指标，增加监控维度都需要开发和更新监控程序才能实现。采用基于日志数据字段，自定义的设定日志告警，形成一套告警条件自定义程度高，可以实时监控日志数据并告警的网络安全告警系统，会极大的方便运维管理工作，提高工作效率。


技术实现要素：

4.本发明公开了一种基于日志数据字段自定义日志告警方法，用以解决现有技术需要人为监控日志文件，并且告警指标固定，需要不断更改所导致的工作效率不高，工作量大且运营成本过高的技术问题。该方法应用于网络安全产品在防护的过程中，包括：首先，定义日志数据的字段，根据实际的业务需求，每种日志数据设定一个日志类型字段。不同领域中日志数据字段的类型不同, 在网络安全领域中，日志字段应当包含网络上行流量，网络下行流量，网络发送数据包数，网络下载数据包数，日志记录时间戳，网络安全标记等必要字段。在网络安全产品防护的过程中，根据业务的设计，在必要的时间点或者场景下，记录相应的日志到设备的日志文件。
5.根据上述步骤中日志字段设计日志告警表达式，使用日志数据的字段,进行自定义的表达式逻辑编写。表达式逻辑支持日志字段的与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算，完成自定义告警表达式设计。程序将设计好的告警表达式保存到数据库，供后续的表达式解析引擎解析。
6.具体地，所述自定义告警表达式是基于日志数据字段类型自定义的设定日志告警，自定义程度大大高于原有技术方案中的固定告警指标，并且不需要人为改动告警指标，增加了日志告警的灵活性，减少了固定指标的死板性。
7.其次，根据自定义告警表达式设计表达式解析引擎，用以解析后进行判断是否要进行日志告警。表达式解析引擎主要为了解析上述与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算。
8.具体地，所述表达式解析引擎是根据所述自定义告警表达式中的逻辑运算确定
的，用以解析出所述自定义告警表达式自定义确定的告警指标，根据解析出的结果判断是否需要告警；节省了现有技术中需要运维人员主动的去查看日志文件判断是否告警的人力，大大提高工作效率。
9.根据上述步骤中定义的日志数据字段、根据所述日志数据字段确定的自定义告警表达式以及根据自定义表达式确定的表达式解析引擎，搭建日志收集，日志流处理，日志存储环境，用以存储其产生的数据。使用logstash模块收集各个设备的日志数据，实时传输到kafka模块，日志处理程序订阅kafka模块中的数据，输出日志到elasticsearch模块存储。
10.最后，使用日志处理程序实时处理kafka模块中的日志数据，读取日志数据和通过逻辑判断得到的告警表达式，将之输入到表达式解析引擎中，通过表达式解析引擎进行计算，判断输出是否需要告警。如果需要告警，转下一步进行告警；需要告警的日志告警信息，使用系统统一的邮件发送模块，进行邮件告警。
11.相应的，本发明还提供了一种基于日志数据字段的自定义告警的装置，应用于网络安全产品在防护的过程中，所述装置包括：自定义模块，该模块根据实际的业务需求，定义日志数据的字段，赋予每种日志数据设定一个日志类型字段。所述日志字段应当包含网络上行流量，网络下行流量，网络发送数据包数，网络下载数据包数，日志记录时间戳，网络安全标记等必要字段。具体地，在网络安全产品在防护过程中，根据业务的设计，在必要的时间点或者场景下，记录相应的日志到设备的日志文件。以便处理模块使用日志数据的字段,进行自定义的表达式逻辑编写。
12.处理模块，该模块使用日志数据的字段，进行自定义的表达式逻辑编写，以确定自定义告警表达式。表达式逻辑支持日志字段的与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算，用以完成自定义告警表达式的设计。程序将设计好的告警表达式保存到数据库，供后续的表达式解析引擎解析。根据所述自定义告警表达式设计表达式解析引擎来识别所述告警表达式中的各种逻辑判断和计算方法进行解析。
13.存储模块，该模块利用上述模块产生的数据搭建日志收集，日志流处理，日志存储环境。本模块使用logstash模块收集各个设备的日志数据，实时传输到kafka模块，日志处理程序订阅kafka模块中的数据，输出日志到elasticsearch模块存储。
14.相应地，所述处理模块中的自定义告警表达式根据日志数据生成的逻辑判断存储在本模块中；所述表达式解析引擎需要解析所述自定义告警表达式的逻辑判断时从本模块中调用相应的数据。
15.告警模块，使用日志处理程序实时处理kafka模块中的日志数据，读取日志数据和通过逻辑判断得到的告警表达式，输入表达式解析引擎，通过表达式解析引擎进行计算，判断输出是否需要告警。如果需要告警，转下一步进行告警；需要告警的日志告警信息，使用系统统一的邮件发送模块，进行邮件告警。
16.由此可见，通过应用以上技术方案，动态的实现了基于日志数据字段确定自定义告警表达式，在基于自定义告警表达式确定表达式引擎，当表达式解析引擎解析出的结果需要告警时，进行告警；如不需要则继续监控。所属自定义报警表达式可根据不同类型的字段动态定义告警指标，实现了在不用代码开发，不用更新监控程序的条件下，就可以动态的基于日志数据字段，修改监控指标，修改监控维度，不需要人为查看维护日志文件，节省了
人力，提高运维的方便性，节省运营成本。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1示出了本发明实施例的一种基于日志数据的自定义日志告警方法的基于日志数据字段的自定义告警方法数据处理流程图；图2示出了本发明实施例的一种基于日志数据的自定义日志告警方法的告警表达式设计与解析；图3示出了本发明实施例的一种基于日志数据的自定义日志告警设备的结构示意图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
21.具体实施例一：参考图1的日志数据处理流程步骤s101 在网络安全产品端，按照预先设计好的业务，记录运行日志到服务器的日志文件中。安全产品内置的filebeat服务会自动收集日志数据传输到 logstash模块。
22.具体地，根据所属不同领域确定所述字段应包含的字段类型，以便根据所属字段类型通过逻辑运算确定自定义告警表达式，可以确保自定义报警表达式中的字段类型齐全，涵盖所有类型，保证据此设计出的自定义告警表达式准确。
23.步骤s102 所述logstash模块收集完日志数据之后，添加时间戳，把日志数据汇总存储到kafka模块，根据所述logstash模块中的日数据确定自定义告警表达式构成自定义告警系统。
24.步骤s103 所述自定义告警系统订阅消费kafka模块中的数据，本系统内实现根据所述自定义告警表达式生成表达式解析引擎，所述自定义告警表达式解析引擎解析自定义告警表达式的功能，实现数字字段可以按表达式进行累加，聚合，比较等运算，可以后期性累计变量值，实现周期性的告警机制。若有达到告警条件阀值的，则发送告警数据给邮告警模块。
25.步骤s104 无论所述步骤s103是否需要告警，都将日志数据存入elasticsearch模块，并继续监控，重复上述步骤判断是否需要告警。
26.通过执行上述技术方案，使得本发明所采用的基于日志数据字段，自定义的设定日志告警，形成一套告警条件自定义程度高，可以实时监控日志数据并告警的网络安全告警系统，会极大的方便运维管理工作，提高工作效率。解决了在网络安全产品在防护的过程中，采用日志的方式将防护信息告诉运维人员的方式，则需要运维人员主动的去查看日志文件，以致于工作效率不高，工作量较大的问题。
27.具体实施例二：参考图2的告警表达式设计与解析步骤s201 拉取任意一条需要自定义告警的日志数据。通过数据处理，读取日志的字段key，自动生成元数据，本页面可以对每一个元数据自定义设置数据类型，如string，int，float，boolean等基本数据类型（每一种数据类型的计算，需要在表达式解析器内实现计算处理）。所述元数据的保存是要跟日志类型进行关联存储。
28.步骤s202 所述自定义告警表达式，根据所述表达式设计器页面，拉取日志字段元数据，结合运算符，自定义组装。
29.其中，所述表达式设计器是根据字段元数据，通过预定的比较运算符、逻辑运算符设计，通过小括号来实现计算机优先级的提升。如：元数据定义：{name :
ꢀ”
上行流量
”ꢀ
, key :”upbytes
”ꢀ
, type :
ꢀ”
int
”ꢀ
}{name :
ꢀ”
下行流量
”ꢀ
, key :”downbytes
”ꢀ
, type :
ꢀ”
int
”ꢀ
}{name :
ꢀ”
时间
”ꢀ
, key :”time
”ꢀ
, type :
ꢀ”
date
”ꢀ
}{name :
ꢀ”
设备类型
”ꢀ
, key :”devicetype
”ꢀ
, type :
ꢀ”
string
”ꢀ
}表达式举例：{juson_logtype :
ꢀ“
sbll”,juson_bytype :
ꢀ“
by_device”,juson_calc :
ꢀ“
juson_sum（$ { upbytes } { downbytes }）》10000”,juson_where :
ꢀ“
${ time } 》
ꢀ‘
2022-01-10 00 : 00 : 00
’ꢀ
&& ${ time } 》
ꢀ‘ꢀ
2022-01-10 00 : 00 : 59
’”
}含义：统计设备在2022-01-10 00:00:00 到2022-01-10 00:00:59之间，上行流量与下行流量累加总和大于10000的时候，就进行流量超过阀值10000的告警。
30.步骤s203 所述告警表达式的存储采用json字符串的方式存储在mysql数据库。其中，所述json字符串是根据所述日子数据字段的类型确定的。
31.步骤s204 所述告警处理是通过加载日志数据和告警表达式，进行数据处理，结合表达式解析器进行告警判断。
32.所述表达式解析器实现表达式的解析，根据自定义告警表达式设计表达式解析引擎，用以解析后进行判断是否要进行日志告警。表达式解析引擎主要为了解析上述与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算，设计好的表达式解析引擎可以解析的内容具体如下：（1）日志的类型（jusun_logtype）：有设备端产生的日志，进行元数据处理的时候
自动生成。每一种类型对应一组元数据，是可以从之日数据中获取元数据的实际值。
33.（2）统计维度（juson_bytype）: 按设备计算（by_device），按日志类型计算（by_logtype）,按会话计算（by_session），按网口计算（by_ifname）等。
34.（3）计算函数（表达式，条件使用）:数值累加（juson_sum），平均数（juson_avg），最大值（juson_max），最大值（juson_min）,是否包含值（juson_has）等。
35.（4）条件范围（juson_where）：控制统计数据的范围。
36.（5）常用运算：数学运算（加减乘除），逻辑运算（与或非），比较运算（大于，等于，小于，大于等于，小于等于，不等于）。
37.步骤s205 根据上述步骤s204中的表达式解析器解析出的结果进行告警判断，如果需要告警就通过邮件服务器进行邮件告警，或者其他告警途径进行告警。如果不需要告警，则继续监控下一组数据。
38.通过执行上述技术方案，详细剖析了自定义告警表达式的设计方式以及表达式解析引擎的设计方式和具体解析方式，实现了所谓自定义的设定日志告警，构成了一套告警条件自定义程度高，可以实时监控日志数据并告警的网络安全告警系统中最核心的一环。
39.具体实施例三：参考图3一种基于日志数据的自定义日志告警设备的结构示意图步骤s301 所述自定义模块根据实际业务的需求，定义日志数据的字段，赋予每种日志数据设定一个日志类型字段；具体地，定义日志数据的字段，根据所述日志数据的类型设定日志类型字段。
40.步骤s302 所述处理模块使用日志数据的字段，进行自定义的表达式逻辑编写，并根据自定义告警表达式确定表达解析式引擎；所述表达式逻辑支持日志字段的与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算。
41.具体地，确定自定义告警表达式以及根据所述自定义告警表达式确定表达式解析引擎。其中，所述自定义告警表达式根据所述日志数据字段确定，所述表达式解析引擎通过逻辑运算确定，并解析自定义告警表达式中的逻辑运算。
42.步骤s303 所述存储模块利用上述模块产生的数据搭建日志收集，日志流处理，日志存储环境。本模块收集各个设备的日志数据，实时传输到日志处理程序订阅的数据中去，再将处理后的日志数据输出存储。
43.步骤s304 所述告警模块利用所述解析式表达引擎解析日志告警表达式的结果，对其进行判断是否需要告警，具体包括：通过日志处理程序实时处理产生的日志数据，读取日志数据和告警表达式，输入给表达式解析引擎，通过表达式解析引擎进行计算，输出是否需要告警。如果需要告警，转下一步进行告警；将需要告警的日志告警信息，使用系统统一的邮件发送模块，进行邮件告警；告警数据统一入库存储到专用的告警记录索引表，供后续的可视化展示；若果不需要告警，则继续监控下一组数据。
44.本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
45.本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进
行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
46.上述本发明序号仅仅为了描述，不代表实施场景的优劣。
47.以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。