一种基于正则的自定义Syslog日志复合分析方法与流程

一种基于正则的自定义syslog日志复合分析方法
技术领域
1.本发明涉及一种基于正则的自定义syslog日志复合分析方法，属于数据处理技术领域。


背景技术：

2.在一个完整的信息系统里面，日志系统是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志系统的重要地位尤甚，可以说是安全审计方面最主要的工具之一。
3.现有的技术接收到系统日志需要一条一条的对日志进行过滤分析，接收到所有的syslog日志，手动去分析去看所有的日志安全级别、告警级别等信息再进行问题的排查，这样大大的影响的工作效率，如果需要对日志进行关联的查询，则需要用复杂的代码进行分析过滤，研发的成本很高。


技术实现要素：

4.本发明是为解决现有技术中的问题而提出的，技术方案如下，
5.一种基于正则的自定义syslog日志复合分析方法，包括如下步骤：
6.步骤一、接收到系统syslog日志；
7.步骤二、利用正则表达式对日志消息进行过滤；
8.步骤三、将与正则表达式规则匹配成功的日志消息进行入库；
9.步骤四、通过esper制定一套或多套关联日志分析规则，形成esper数据处理模块；
10.步骤五、将与正则表达式规则匹配成功的日志消息发送到esper数据处理模块，根据步骤四制定的关联日志分析规则对有日志消息进行处理；
11.步骤六、若日志消息符合关联日志分析规则要求，则将有关联的日志消息进行合并入库操作，不符合关联日志分析规则的日志进行保留，等待下一个日志消息的进入再进行分析；
12.步骤七：通过浏览器端页面进行日志消息的查询显示。
13.优选的，所述步骤二中，利用正则表达式对日志消息进行过滤的过滤条件包括安全级别、告警级别、关键字、设备以及重复次数。
14.进一步的，所述过滤条件通过浏览器端页面手动输入。
15.本发明可使用户自行设置正则表达式规则，自动过滤日志消息，实行自动化分析，可以不需要借助任何工具，不需要手动一条一条的过滤日志。
附图说明
16.图1是本发明一种基于正则的自定义syslog日志复合分析方法的工作流程图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.缩略语和关键术语定义：
19.syslog：是一种工业标准的协议，可用来记录设备的日志。在unix系统，路由器、交换机等网络设备中，系统日志(system log)记录系统中任何时间发生的大小事件。管理者可以通过查看系统记录，随时掌握系统状况。unix的系统日志是通过syslogd这个进程记录系统有关事件记录，也可以记录应用程序运作事件。通过适当的配置，我们还可以实现运行syslog协议的机器间通信，通过分析这些网络行为日志，藉以追踪掌握与设备和网络有关的状况。
20.syslog是linux系统默认的日志守护进程。默认的syslog配置文件是/etc/syslog.conf文件。程序，守护进程和内核提供了访问系统的日志信息。因此，任何希望生成日志信息的程序都可以向syslog接口呼叫生成该信息。
21.几乎所有的网络设备都可以通过syslog协议，将日志信息以用户数据报协议(udp)方式传送到远端服务器，远端接收日志服务器必须通过syslogd监听udp端口514，并根据syslog.conf配置文件中的配置处理本机，接收访问系统的日志信息，把指定的事件写入特定文件中，供后台数据库管理和响应之用。意味着可以让任何事件都登录到一台或多台服务器上，以备后台数据库用off-line(离线)方法分析远端设备的事件。
22.正则表达式：正则表达式是对字符串(包括普通字符(例如，a到z之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。
23.esper：是一个开源的复杂事件处理引擎，它的目的是让用户能够通过它提供的接口，构建一个用于处理复杂事件的应用程序。
24.本发明使用正则表达式对需要关注的日志制定一套过滤条件(安全级别、告警级别、关键字、设备以及重复次数)，能够实现比与或非关系更复杂的逻辑，更有效的进行数据过滤，并且允许用户自定义正则规则，当有日志进入时，正则规则会自动匹配到我们想到的日志，无需手动复杂的处理，对关联日志的处理时用esper制定一套epl模版，会对有关联的日志自动进行关联。
25.具体工作流程如图1所示，一种基于正则的自定义syslog日志复合分析方法，包括如下步骤：
26.步骤一、接收到系统syslog日志；
27.步骤二、利用正则表达式对日志消息进行过滤，过滤条件包括安全级别、告警级别、关键字、设备以及重复次数，过滤条件通过浏览器端页面手动输入；
28.步骤三、将与正则表达式规则匹配成功的日志消息进行入库；
29.步骤四、通过esper制定一套或多套关联日志分析规则，形成esper数据处理模块；
30.步骤五、将与正则表达式规则匹配成功的日志消息发送到esper数据处理模块，根据步骤四制定的关联日志分析规则对有日志消息进行处理；
31.步骤六、若日志消息符合关联日志分析规则要求，则将有关联的日志消息进行合并入库操作，不符合关联日志分析规则的日志进行保留，等待下一个日志消息的进入再进行分析；
32.步骤七：通过浏览器端页面进行日志消息的查询显示。
33.某用户需要查看系统某个地方的告警日志，只需要在页面手动输入需要查询的关键字、日志的告警级别、安全级别就等准确的定位到需要查看的日志，同时在页面可以通过正则的规则制定一套关联日志规则来进行关联日志的分析。本发明能够通过正则规则自动匹配需要获取的日志，并能够通过esper对有关联的日志进行自动分析。
34.尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。


技术特征：
1.一种基于正则的自定义syslog日志复合分析方法，其特征在于：包括如下步骤：步骤一、接收到系统syslog日志；步骤二、利用正则表达式对日志消息进行过滤；步骤三、将与正则表达式规则匹配成功的日志消息进行入库；步骤四、通过esper制定一套或多套关联日志分析规则，形成esper数据处理模块；步骤五、将与正则表达式规则匹配成功的日志消息发送到esper数据处理模块，根据步骤四制定的关联日志分析规则对有日志消息进行处理；步骤六、若日志消息符合关联日志分析规则要求，则将有关联的日志消息进行合并入库操作，不符合关联日志分析规则的日志进行保留，等待下一个日志消息的进入再进行分析；步骤七：通过浏览器端页面进行日志消息的查询显示。2.根据权利要求1所述的一种基于正则的自定义syslog日志复合分析方法，其特征在于：所述步骤二中，利用正则表达式对日志消息进行过滤的过滤条件包括安全级别、告警级别、关键字、设备以及重复次数。3.根据权利要求2所述的一种基于正则的自定义syslog日志复合分析方法，其特征在于：所述过滤条件通过浏览器端页面手动输入。

技术总结
本发明提出一种基于正则的自定义Syslog日志复合分析方法，包括一、接收到系统Syslog日志；二、利用正则表达式对日志消息进行过滤；三、将与正则表达式规则匹配成功的日志消息入库；四、通过esper制定一套或多套关联日志分析规则，形成esper数据处理模块；五、将与正则表达式规则匹配成功的日志消息发送到esper数据处理模块，根据步骤四制定的关联日志分析规则对有日志消息进行处理；六、若日志消息符合关联日志分析规则要求，则将有关联的日志消息进行合并入库操作，不符合关联日志分析规则的日志进行保留，等待下一个日志消息的进入再进行分析；七：通过浏览器端页面进行日志消息的查询显示。询显示。询显示。


技术研发人员：杨天娇
受保护的技术使用者：山东华软金盾软件股份有限公司
技术研发日：2020.10.19
技术公布日：2022/4/22