基于ELK的可视化网络日志分析监控平台的制作方法

基于elk的可视化网络日志分析监控平台
技术领域
1.本发明属于网络日志分析监控技术领域，具体涉及一种基于elk的可视化网络日志分析监控平台。


背景技术：

2.近年来，随着网络的发展和普及，互联网浪潮正给人们的生产和生活带来巨大的改变，网络设备每天产生大量的网络日志，网络日志是很多企业it管理员查找网络漏洞的重要依据，这些数据对于网络安全至关重要。网络安全日志的管理分析是一种在安全领域极为重要的防御手段。通过对多源异构的网络日志分析及风险评估，充分利用日志可以帮助及时发现潜在的风险和安全漏洞。但要利用这些网络日志存在一些问题，如开发人员不能登录线上服务器查看详细日志，日志数据分散难以查找，日志数据量大，查询速度慢，或者数据不够实时。即网络安全设备日志具有海量性、复杂性和时空关联性等特点，传统的网络安全日志分析技术越来越难以满足海量日志在采集、存储、预处理和分析等方面的需求。因此如何克服现有技术的不足是目前网络日志分析监控技术领域亟需解决的问题。


技术实现要素：

3.本发明的目的是为了解决现有技术的不足，提供一种基于elk的可视化网络日志分析监控平台。
4.为实现上述目的，本发明采用的技术方案如下：
5.基于elk的可视化网络日志分析监控平台，包括：
6.日志实时收集模块，用于收集设备的日志数据，并以日期加设备ip地址命名；所述的设备包括路由器、交换机、防火墙；
7.日志处理模块，用于对日志实时收集模块采集的日志数据进行解析；
8.日志检索及日志存储模块，用于通过集群的方式对各网络分区的日志信息建立索引，并对日志处理模块解析的日志信息进行检索及存储；
9.日志展示模块，用于对日志检索及日志存储模块检索的日志信息进行展示及分析。
10.进一步，优选的是，日志实时收集模块具体为：在每一台路由器、交换机、防火墙上配置日志服务器的地址及端口；路由器、交换机、防火墙产生的日志从路由器、交换机、防火墙发送到日志服务器，在日志服务器上，对这几种不同类型设备的日志以日期加设备ip地址命名。
11.进一步，优选的是，网络分区包括测试区、生产区、运行管理区和用户区；
12.日志服务器安装filebeat软件，通过配置其配置文件filebeat.yml，配置tags字段及paths字段对不同网络分区的日志进行区分，如生产区配置为tages:op_fw，用户区配置为tages:lu_fw，测试区配置为tages:dt_fw，运行管理区配置为tages:om_fw；输出地址配置为logstash的地址，使用filebeat在日志数据存储的目录上收集日志事件，filebeat
的每个收集器读取单个日志来获取新的日志数据更新，filebeat将每个收集器聚集后的数据发送到filebeat配置的输出，最后，filebeat将输出转发到日志处理模块。
13.进一步，优选的是，通过logstash的配置文件对filebeat转发的日志进行解析。
14.进一步，优选的是，日志检索及日志存储模块通过elasticsearch对logstah发送的日志信息进行检索及存储
15.进一步，优选的是，日志处理模块将所需要的字段解析出来，并对字段重命名。
16.进一步，优选的是，日志处理模块解析时，采用grok表达式来对日志数据的多种格式进行匹配及解析。
17.进一步，优选的是，日志检索及日志存储模块具体为：按网络分区类型建立索引，按照日志实时收集模块配置的tages标签将各个网络分区的对应的数据存储在建立好的索引中；通过集群的方式进行部署，在多台服务器上部署elasticsearch，通过编辑elasticsearch.yml，对elasticsearch集群名称、主节点和从节点的ip地址、通信端口、数据存放目录进行配置，集群的多台服务器使用相同的elasticsearch.yml配置文件；索引文件按照主分片和副本的方式分布在集群的各个节点中；通过挂载nas存储来存放数据；数据存放目录配置为nas存储挂载的目录；配置完成后新创建一个elk用户用于启动每台服务器的elasticsearch程序。
18.进一步，优选的是，日志展示模块通过kibana对日志进行展示。
19.elk由elasticsearch、logstash、kibana三个开源软件组成，同时新增了一个filebeat，它是一个轻量级的日志收集处理工具，filebeat占用资源少，适合于在各个服务器上搜集日志后传输给logstash。filebeat主要用于日志的搜集，logstash主要用于日志的分析与过滤，elasticsearch用于搜集、分析、存储数据。kibana提供对日志分析友好的web界面，帮助汇总、分析、搜索重要数据日志。本发明基于网络安全日志的特点，从海量日志的采集、存储、预处理和分析四个层面引入以elk为基础的可视化网络日志分析监控平台，实现一个速度快、可扩展、处理数据量大的网络安全日志分析系统，从而实现大容量、低成本、高效率的网络安全分析能力。
20.本发明与现有技术相比，其有益效果为：
21.(1)elasticsearch采用集群的方式，具有很强的分布式和扩展能力，能提供几乎实时的数据查询，且索引文件按照主分片和副本的方式分布在集群的各个节点中，当集群中有节点发生宕机时，能够保证数据的安全，且能快速恢复，有较强的灾备能力。
22.(2)通过grok对多种格式的日志字段进行解析，所解析字段符合定制化的需求，对字段进行了更细致的划分，只展示有效的字段，给kibana查询提供最精准的支撑。且通过字段的划分，能够帮助快速筛选数据，快速定位数据。
23.(3)基于elk的可视化网络日志分析监控平台，查看日志非常方便和高效，解决了日志数据量大、查询速度慢、数据不够实时的问题。
附图说明
24.图1为本发明基于elk的可视化网络日志分析监控平台的结构示意图；
25.图2为本发明具体实施方式中搭建好的对防火墙日志进行分析的一个数据可视化示意图；
26.图3为本发明具体实施方式中搭建好的对防火墙日志进行分析的又一个数据可视化示意图；
27.图4为本发明具体实施方式中搭建好的对防火墙日志进行分析的再一个数据可视化示意图；
28.图5为本发明具体实施方式中搭建好的对防火墙日志进行分析的另一个数据可视化示意图。
具体实施方式
29.下面结合实施例对本发明作进一步的详细描述。
30.本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
31.基于elk的可视化网络日志分析监控平台的数据源来自于路由器、交换机、防火墙等设备的日志，包括以下几个模块：
32.(1)日志实时收集模块
33.在每一台路由器、交换机、防火墙上配置日志服务器的地址及端口。路由器、交换机、防火墙产生的日志从路由器、交换机、防火墙发送到日志服务器，在日志服务器上，对这几种不同类型设备的日志以日期加设备ip地址命名。
34.在大型网络中，网络通常存在不同的分区，如测试区、生产区、运行管理区、用户区等，在不同的分区都部署了防火墙，本发明以防火墙日志为例，在日志服务器安装filebeat软件，通过配置其配置文件filebeat.yml，配置tags字段及paths字段对不同网络分区的防火墙日志进行区分，如生产区防火墙配置为tages:op_fw，用户区防火墙配置为tages:lu_fw，测试区防火墙配置为tages:dt_fw，运行管理区防火墙配置为tages:om_fw。输出地址配置为logstash的地址，使用filebeat在日志数据存储的目录上收集日志事件，filebeat的每个收集器(harvestor)读取单个日志来获取新的日志数据更新，filebeat将聚集每个收集器的日志事件，并将聚集后的数据发送到filebeat配置的输出，最后，filebeat将输出转发到logstash对各个网络分区的防火墙日志进行处理。
35.(2)日志处理模块
36.该模块主要通过对logstash的配置文件对filebeat转发的日志进行解析。由于这些日志一般没有固定的格式，都是厂家自定义的格式，logstash接收到的日志类型不一致，字段数量、字段值都不一样，为json格式的字符串。因此有字段命名不统一、有很多冗余字段、json字符串不便于查询及分析等问题。该模块主要为便于日志管理及查询，对日志进行加工处理，使用grok插件对每一个日志的每一行的字段进行解析，将所需要的字段正确解析出来，如策略序号、源主机ip、目的主机ip、目的主机端口、协议；删除不需要或冗余的字段；并可把表达相同意思的字段命名进行统一；根据日志信息对字段进行命名，可命名为网络运维人员易于理解的字段名。如日志信息中的11.130.24.86:64634-》11.130.0.1:53(udp)，经过grok正则表达式(％{iporhost:sourceip}:％{posint:sourceport}-》％{iporhost:desip}:％{number:desport}\(％{data:protocol}\))处理后的结构化的数据
为{"sourceip":"11.130.24.86""desip":"11.130.0.1""sourceport":"64634""desport":"53""protocol":"udp"}，表示源主机ip为11.130.24.86、源端口为64634、目的主机ip为11.130.0.1、目的端口为53、协议为udp。
37.对于每一种类型的设备，如防火墙设备，其设备型号存在多种，有华三、东软、山石防火墙等，其日志格式不相同，且同一种型号的设备，其日志格式也有多种，通过一个单一的正则表达式进行表达较为困难。本发明通过使用多个grok表达式来对日志数据的多种格式进行匹配及解析。通过该模块对日志进行解析后，将解析后的数据发送到elasticsearch进行检索及存储。
38.本发明处理的日志以山石防火墙的系统日志为例，为json格式，包含的基本信息主要包括三部分，第一部分为日志本身的信息，日志发送时间、日志等级及发送来源；第二部分为源主机和目的主机的ip、端口等信息；第三部分为发送的详细内容。
39.例如山石防火墙的日志信息如下：
40.样例数据一：
41.2021-10-08 16:48:15 local7.info 12.129.69.100 oct 8 16:48:15 220644 1192004540(root)44243624 traffic@flow:session:192.168.2.48:66-》192.168.19.31:80(icmp:echo_request),application ping,interface aggregate2,vr tr ust-vr,policy 255,user-@-,host-,send packets 1,send bytes 66,receive packe ts 1,receive bytes 66,start time 2021-10-08 16:48:13,close time 2021-10-08 16:4 8:15,session end,close-icmp
42.样例数据二：
43.2021-09-22 10:30:46 local7.info 12.129.69.100 sep 22 10:30:45 22064 41192004540(root)44243624 traffic@flow:session:11.130.24.86:64634-》11.130.0.1:53(udp),application dns,interface aggregate1,vr trust-vr,policy 15 1,user-@-,host-,send packets 1,send bytes 91,receive packets 1,receive byte s 165,start time 2021-09-22 10:29:44,close time 2021-09-22 10:30:45,session en d,ageout
44.样例数据三：
45.2021-10-09 10:37:34 local7.info 12.129.69.100 oct 9 10:37:33 22064 41192004540(root)44243626 traffic@flow:long lifetime session:11.129.17.145:54168-》11.129.8.108:5000(tcp),application tcp-any,interface aggr egate1,vr trust-vr,policy 69,user-@-,host-,send packets 20,send bytes 352 6,receive packets 22,receive bytes 4275,start time 2021-10-09 10:37:31,close tim e 2021-10-09 10:37:33,long lifetime session end,tcp fin
46.样例数据一、二、三均可用同一个正则表达式表达，对应的grok模式为：
47.％{timestamp_iso8601:time}\s*％{hostname:hostname}\s*％{ip:hostip}\s*％{month}\s*％{number}\s*％{time}\s*％{notspace:user}\s*％{number}\s*％{data}n:％{iporhost:sourceip}:％{posint:sourceport}-》％{iporhost:desip}:％{number:desport}\(％{data:protocol}\),％{word}\s*％{notspace:application},\s*％{word}\s*％{data:interface},\s*％{word}％{notspace:area},％{word}％
{notspace:policy},％{word}％{notspace}％{word}％{notspace}％{data:sendpackage},％{data:sendbyte},％{data:receivepackage},％{data:receivebyte},％{notspace}％{word}％{timestamp_iso8601:starttime},％{notspace}％{word}％{timestamp_iso8601:closetime},％{greedydata:session}
48.以样例数据二为例，经过grok正则表达式处理后的结构化的数据为：
[0049][0050][0051]
样例数据四：
[0052]
2021-10-08 17:10:23 local7.info 13.129.69.100 oct 8 17:10:2222064 41192004540(root)44243622 traffic@flow:session:11.130.2.48:28-》11.131.159.251:0(icmp:echo_request),interface aggregate2,vr trust-vr,policy 15 2,user-@-,host-,session start
[0053]
样例数据四对应的grok模式为：
[0054]
％{timestamp_iso8601:time}\s*％{hostname:hostname}\s*％{ip:ip}\s*％{month}\s*％{number}\s*％{time}％{notspace:user}％{number}％{notspace}％{notspace}％{iporhost:sourceip}:％{posint:sourceport}-》％{iporhost:desip}:％{number:desport}\(％{data:protocol}\),interface％{notspace:interface},％{word}％{notspace:area},％{word}％{notspace:policy},％{word}\s*％{notspace}\s*％{word}\s*％{notspace}\s*％{greedydata:session}
[0055]
样例数据四经过grok正则表达式处理后的结构化的数据为：
[0056][0057]
本发明以上述四个样例数据为例，设计了两个grok正则表达式，但防火墙的样例数据不限于上述四种形式，grok表达式也不限于上述两种。
[0058]
在日志处理模块，logstash的配置文件配置如下：
[0059]
[0060][0061]
(3)日志检索及日志存储模块
[0062]
该模块主要通过elasticsearch对logstah发送的日志信息进行检索及存储，以防火墙日志为例，按防火墙网络分区类型建立索引，如生产区索引为op_fw_log，测试区索引为dt_fw_log，按照日志实时收集模块配置的tages标签将各个网络分区的对应的数据存储在建立好的索引中。为保证检索效率，通过集群的方式部署该模块，在多台服务器上部署elasticsearch，通过编辑elasticsearch.yml，对elasticsearch集群名称、主节点和从节点的ip地址、通信端口、数据存放目录进行配置，集群的多台服务器使用相同的elasticsearch.yml配置文件。其中由于防火墙日志数量巨大，通过挂载nas存储来存放数据。数据存放目录配置为nas存储挂载的目录。配置完成后新创建一个elk用户用于启动每台服务器的elasticsearch程序。该模块通过集群的方式对各网络分区的日志信息建立索引，用户能方便地对大量的日志数据进行实时搜索、分析。
[0063]
(4)日志展示模块
[0064]
传统的日志分析系统存在图像简单、种类较少等问题，在结果的展示方面也不是很直观，该模块通过kibana对日志进行展示，该模块提供各种查询及图表的展示，在查询界
面选择需要查询的索引文件，能实时展示路由器、交换机、防火墙实时更新的日志信息，并能方便地创建折线图、饼状图、柱状图等图表，可以帮助汇总、分析和搜索重要数据日志。搭建好的对防火墙日志进行分析的数据可视化示意图如图2～图5所示。
[0065]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。