一种基于能源网络高效的日志流量采集与智能分析系统的制作方法

1.本技术涉及能源网络领域，尤其涉及一种基于能源网络高效的日志流量采集与智能分析系统。


背景技术：

2.近年来，能源系统已成为国际网络战的重要攻击目标，能源监控系统安全防护承受巨大压力，通用的安全产品一般基于网络流量和报文分析技术，主要对互联网通用服务和协议进行监测、分析，对于网络空间隔离、设备和用户相对确定、网络服务私有可控、正常情况下无人操作的能源网络监控系统而言，不是最佳选择；同时现有的采集技术是通过配置能源网络中设备的日志模块，通过syslog的方式去采集网络设备的日志信息，会存在支持的设备类型较少、事件种类单一、且对重复的日志缺乏归并的处理，导致重复日志显示过多，增加用户查找事件原因成本；此外现在的流量采集上报平台，没有对报文进行加密处理，存在被篡改与信息窃取的风险，因此迫切需要研发适合能源监控系统,面向设备事件的网络数据采集与分析及流量上传到远端平台的系统。


技术实现要素：

3.有鉴于此，本发明提供一种基于能源网络高效的日志流量采集与智能分析系统。
4.具体地，本发明是通过如下技术方案实现的：
5.本发明提供一种基于能源网络高效的日志流量采集与智能分析系统，包括：
6.数据采集模块、数据智能分析模块、归并事件处理模块、数据存储模块和原始数据加密模块；
7.数据采集模块接收不同的设备传上来的采集信息，并将采集信息发送至所述数据智能分析模块；
8.数据智能分析模块将采集信息发送至数据存储模块进行存储，并判断采集信息是否为事件，如果是事件，将采集信息转换为事件；判断事件是否为归并事件，如果是归并事件发送至归并事件处理模块，如果不是归并事件，发送至数据存储模块进行存储；
9.归并事件处理模块统计一段时间内不同事件的归并数，再通过定时器定时发送所有归并事件给数据存储模块；
10.数据存储模块利用mysql数据库，存储采集的事件以及采集信息；
11.原始数据加密模块将原始的流量数据进行aes加密，防止数据被篡改或窃取分析。
12.优选地，将所述采集信息转换为事件的具体方法为：利用查找截取的方式，将采集信息中的设备或系统、事件类型与子事件类型内容获取出来。
13.优选地，判断事件是否为归并事件的具体方法为：按事件库与归并事件库的格式分组，然后利用高效的匹配算法与归并事件库和事件库进行匹配。
14.优选地，匹配算法包括：利用除留取余hash算法，通过创建hash表，计算hash值快速找到需要去重的事件节点。
15.优选地，匹配算法步骤如下：
16.第一步：采用除留取余hash表算法，创建hash表，基于ip算出hash值；
17.第二步：判断hash表中的ip值是否相等，如果ip值相等，则认为之前已经创建过了ip节点，如果ip值不相等，则创建新的ip hash节点；
18.第三步：利用所述归并事件库，将事件的设备或系统类型与事件类型解析出来，再判断事件类型的统计数是否为0，如果事件类型的统计数为0代表是第一次，直接发送到数据存储模块；如果不是则进行归并次数的统计。
19.优选地，事件库与归并事件库由设备或系统、事件类型与子事件类型组成。
20.优选地，事件库与归并事件库的格式的具体形式：
21.设备或系统类型事件类型子事件类型，事件类型用a表示，子事件类型用b表示；具体表示为：设备或系统类型ab。
22.优选地，送至数据存储模块进行存储之前还包括：将采集信息转换为采集事件的消息格式；所述消息格式的具体形式为：
23.<级别><空格>日期<空格>时间<空格>设备或系统<空格>行为<空格>原因。
24.优选地，归并事件处理模块统计归并事件次数的具体的算法为：
25.变量t表示一段时间内，变量pre_count表示上次定时发送某个事件归并统计数，变量now_count表示t时间内的事件归并统计数，time表示归并事件产生事件，每来一次更新一次；t时间段内统计数为：now_count
‑
pre_count；
26.其中，记录时间time，用于定时发送时的时间比较，判断事件后续出现归并的概率。
27.优选地，记录时间time，用于定时发送时的时间比较，判断事件后续出现归并的概率的具体过程为：
28.通过一个单独的线程定时去轮询hash表，判断是否有新的事件产生，如果有新的事件产生，则更新事件的重复次数，将事件发送给数据存储模块，发送完后将now_count的值赋给pre_count；如果没有新的事件产生，则检查ip节点的time值与当前的时间值是否相差30s，如果是相差30s，则认为所述ip节点在30s内，没有产生新的事件，认为所述ip节点后面出现归并事件的概率比较小，删除所述ip节点，减少遍历的次数。
29.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：
30.本技术实施例提供的该方法，
31.1)数据采集、智能分析、数据存储、事件归并处理的模块一体化，使得能源网络采集系统的构成更简单、更高效；
32.2)事件库的建立，便于快速匹配出事件类型；
33.3)采集的对象多，能够获取更多的设备类型日志；
34.4)流量采用加密处理，防止信息被窃取与篡改。
附图说明
35.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
36.图1是本发明实施例提供的基于能源网络高效的日志流量采集与智能分析系统结
构框图；
37.图2是本发明实施例提供的数据智能分析模过滤事件的流程图；
38.图3是本发明实施例提供的判断归并事件流程图；
39.图4是本发明实施例提供的智能分析系统部署网络拓扑。
具体实施方式
40.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
41.需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
42.实施例1：
43.如图1所示，本技术实施例提供的基于能源网络高效的日志流量采集与智能分析系统，如图4所示日志流量采集与智能分析系统的业务口分别接入到调度数据网交换机和站控层交换机，所述系统包括：
44.数据采集模块、数据智能分析模块、归并事件处理模块、数据存储模块和原始数据加密模块；
45.所述数据采集模块接收不同的设备传上来的采集信息，支持多种设备类型的采集信息收集，具体有：网络设备(交换机)、安全防护设备(防火墙、横纵向隔离装置、入侵检测设备)、数据库、主机设备(远动机服务器、监控主机、工作站等)，并将所述采集信息发送至所述数据智能分析模块；对于接收不同的设备传上来的数据采集信息，所用到的消息通道是不一样的，需要实现各个消息通道的接收功能；具体的消息通道如下表所示：
[0046][0047]
利用多线程、libevent异步通信机制，接收由电力网络中采集设备发送过来的采集信息，提高接收消息的效率，利用多队列处理方式，将不同线程采集到的采集信息放入到不同的队列中，便于数据智能分析模块分析数据；
[0048]
消息格式gb/t 31992具体消息为：
[0049]
<级别><空格>日期<空格>时间<空格>设备或系统<空格>行为<空格>原因
[0050]
原因的格式为：
[0051]
<事件类型><空格><事件子类型><空格><内容>
[0052]
行为定义为设备类型，具体设备类型如下表：
[0053]
fw防火墙fid横向正向隔离装置bid横向反向隔离装置svr服务器sw交换机vead纵向加密装置av防病毒系统ids入侵检测系统db数据库dcd网络安全监测装置
[0054]
如图2所示，所述数据智能分析模块将所述采集信息发送至数据存储模块进行存储，并判断所述采集信息是否为事件，如果是事件，将所述采集信息转换为事件，具体方法为：利用查找截取的方式，将采集信息中的设备或系统、事件类型与子事件类型内容获取出来；判断事件是否为归并事件，如果是归并事件发送至所述归并事件处理模块，如果不是归并事件，将采集信息转换为采集事件的消息格式，发送至数据存储模块进行存储；所述消息格式的具体形式为：
[0055]
<级别><空格>日期<空格>时间<空格>设备或系统<空格>行为<空格>原因；
[0056]
所述判断事件是否为归并事件的具体方法为：按事件库与归并事件库的格式分组，然后利用高效的匹配算法与归并事件库和事件库进行匹配；
[0057]
所述匹配算法包括：利用除留取余hash算法，通过创建hash表，计算hash值快速找到需要去重的事件节点，传统的去重处理通常会逐个遍历比较项其效率低下且繁琐；
[0058]
如图3所示，所述匹配算法步骤如下：
[0059]
第一步：采用除留取余hash表算法，创建hash表，基于ip算出hash值；
[0060]
第二步：判断hash表中的ip值是否相等，如果ip值相等，则认为之前已经创建过了ip节点，如果ip值不相等，则创建新的ip hash节点；
[0061]
第三步：利用所述归并事件库，将事件的设备或系统类型与事件类型解析出来，再判断所述事件类型的统计数是否为0，如果所述事件类型的统计数为0代表是第一次，直接发送到数据存储模块；如果不是则进行归并次数的统计；
[0062]
所述事件库与归并事件库由设备或系统、事件类型与子事件类型组成；
[0063]
所述事件库与归并事件库的格式的具体形式：
[0064]
设备或系统类型事件类型子事件类型，事件类型用a表示，子事件类型用b表示；具体表示为：设备或系统类型a b；
[0065]
具体的表现形式如下表：
[0066]
设备或系统事件类型子事件类型事件库形式fwabfw a bfidabfid a bsvrabsvr a b
[0067]
所述归并事件处理模块统计一段时间内不同事件的归并数，再通过定时器定时发送所有归并事件给数据存储模块，避免一段时间内不断且重复的上报相同事件，节省存储空间，提高用户查找事件的效率；
[0068]
如图3所示，所述归并事件处理模块统计归并事件次数的具体的算法为：
[0069]
变量t表示一段时间内，变量pre_count表示上次定时发送某个事件归并统计数，变量now_count表示t时间内的事件归并统计数，time表示归并事件产生事件，每来一次更新一次；t时间段内统计数为：now_count
‑
pre_count；
[0070]
通过存储pre_count与now_count能准确计算出一段时间内的相同事件的重复数，其中，记录时间time，用于定时发送时的时间比较，判断事件后续出现归并的概率，减少遍历次数，提高遍历效率，现有的归并技术通常没有时间的对比判断，导致数据存储冗余，消耗存储内存，增加遍历次数，导致归并效率降低，具体过程为：
[0071]
通过一个单独的线程定时去轮询hash表，判断是否有新的事件产生，如果有新的事件产生，则更新事件的重复次数，将事件发送给数据存储模块，发送完后将now_count的值赋给pre_count；如果没有新的事件产生，则检查ip节点的time值与当前的时间值是否相差30s，如果是相差30s，则认为所述ip节点在30s内，没有产生新的事件，认为所述ip节点后面出现归并事件的概率比较小，删除所述ip节点，减少遍历的次数；
[0072]
所述数据存储模块利用mysql数据库，存储采集的事件以及采集信息，存储的采集信息至少保存3个月、事件信息保存一年；
[0073]
所述原始数据加密模块将原始的流量数据进行aes加密，防止数据被篡改或窃取分析；启用一个新的进程，用户流量的采集与加密，保证其采集效率。
[0074]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。