一种基于syslog日志解析过程的可视化方法和系统与流程

1.本发明涉及可视化技术领域，尤其涉及一种基于syslog日志解析过程的可视化方法和系统。


背景技术：

2.目前市面上没有完整的将syslog日志解析过程进行可视化呈现的系统。基本都是割裂的展示某一个过程的情况和数据。如果用户关注syslog从接入到解析到存储的整体状况，需要到各个单独的模块中去检索统计，非常不方便，而且一般使用者多是运维人员，对日志解析的整体业务流程相对了解较少，市面常见的syslog解析类产品针对整体过程的可视化展示上缺少直观的、有联系的、有层次步骤的展现形式，无法让使用者对解析过程有一个全局的、系统性的认识和了解。


技术实现要素：

3.本发明针对现有syslog日志解析过程可视化系统无法全局呈现syslog日志解析过程的问题，提出一种基于syslog日志解析过程的可视化方法和系统，通过本发明中的可视化呈现，将syslog日志从采集到入库之后的查询结果进行完成过程的呈现，实时展示syslog日志解析过程中各个阶段的数据情况，帮忙运维人员从整体上对日志审计系统的运行情况有一个全面清晰完整的认识，能够迅速发现和定位潜在问题。
4.为了实现上述目的，本发明采用以下技术方案：本发明一方面公开一种基于syslog日志解析过程的可视化方法，包括：步骤1：梳理出syslog日志的解析过程，设计前端页面，根据不同过程设计不同的可视化图标；前端页面包括接入设备显示区域、采集器显示区域、智能范式化区域、过滤器区域、事件缓存区域、资产显示区域、规则显示区域、告警显示区域、事件存储区域；其中设备显示区域、采集器显示区域、智能范式化区域、过滤器区域、事件缓存区域、事件存储区域依次通过动态流动线条相连；步骤2：通过接入日志源的ip地址，利用资产探测工具获取接入日志源的设备指纹信息，通过系统内置的字典表判断接入设备的类型，在接入设备显示区域动态显示接入设备的类型及接入设备数；步骤3：通过查询系统中注册的采集器的信息，在采集器显示区域动态显示采集器的数量，通过监控采集器单位时间内处理的事件量，在采集器显示区域动态显示eps情况；步骤4：通过查询系统中启用的范式化文件数量和种类，在智能范式化区域动态显示正常启用的范式化文件的数量和种类图标，如果有范式化文件异常，智能范式化区域进行红色高亮闪动提示；步骤5：通过查询系统中启用的过滤器的数量和种类，在过滤器区域动态显示正常启用的过滤器的数量和种类图标；步骤6：通过查询系统中的资产数，将资产信息在资产显示区域进行显示；资产信
息作为流入数据流入事件缓存区域中进行分析，事件缓存区域中的数据流出到规则显示区域，规则显示区域通过查询系统中启用的规则数量动态显示实际工作的规则数，规则显示区域后方通过动态流通线条连接告警显示区域；告警显示区域通过查询系统中的告警数，动态显示告警信息，如果有告警产生，告警显示区域进行红色高亮闪动提示；步骤7：在事件存储区域动态显示存入到elasticsearch和mysql中的事件数据量。
5.进一步地，所述步骤1还包括：按照接入设备
‑‑
》采集器
‑‑
》智能范式化
‑‑
》过滤器
‑‑
》(资产
‑‑
》事件缓存
‑‑
》规则
‑‑
》告警)
‑‑
》db\es 的流程顺序组织显示排列布局展示，各个过程之间利用流动线段进行数据流的相关展示。
6.进一步地，所述接入设备的类型包括防火墙、linux、路由器、交换机、数据库。
7.进一步地，所述通过事件缓存区域，利用动态流动线条分别连接了资产显示区域、规则显示区域、事件存储区域、过滤器区域。
8.进一步地，所述前端页面上所有显示的数字均可以进行点击，点击后通过列表显示24小时内的相应信息。
9.本发明另一方面提出一种基于syslog日志解析过程的可视化系统，包括：前端页面设计单元，用于梳理出syslog日志的解析过程，设计前端页面，根据不同过程设计不同的可视化图标；前端页面包括接入设备显示区域、采集器显示区域、智能范式化区域、过滤器区域、事件缓存区域、资产显示区域、规则显示区域、告警显示区域、事件存储区域；其中设备显示区域、采集器显示区域、智能范式化区域、过滤器区域、事件缓存区域、事件存储区域依次通过动态流动线条相连；设备显示区域动态显示单元，用于通过接入日志源的ip地址，利用资产探测工具获取接入日志源的设备指纹信息，通过系统内置的字典表判断接入设备的类型，在接入设备显示区域动态显示接入设备的类型及接入设备数；采集器显示区域动态显示单元，用于通过查询系统中注册的采集器的信息，在采集器显示区域动态显示采集器的数量，通过监控采集器单位时间内处理的事件量，在采集器显示区域动态显示eps情况；智能范式化区域动态显示单元，用于通过查询系统中启用的范式化文件数量和种类，在智能范式化区域动态显示正常启用的范式化文件的数量和种类图标，如果有范式化文件异常，智能范式化区域进行红色高亮闪动提示；过滤器区域动态显示单元，用于通过查询系统中启用的过滤器的数量和种类，在过滤器区域动态显示正常启用的过滤器的数量和种类图标；综合显示单元，用于通过查询系统中的资产数，将资产信息在资产显示区域进行显示；资产信息作为流入数据流入事件缓存区域中进行分析，事件缓存区域中的数据流出到规则显示区域，规则显示区域通过查询系统中启用的规则数量动态显示实际工作的规则数，规则显示区域后方通过动态流通线条连接告警显示区域；告警显示区域通过查询系统中的告警数，动态显示告警信息，如果有告警产生，告警显示区域进行红色高亮闪动提示；事件存储区域动态显示单元，用于在事件存储区域动态显示存入到elasticsearch和mysql中的事件数据量。
10.进一步地，所述前端页面设计单元还用于：
按照接入设备
‑‑
》采集器
‑‑
》智能范式化
‑‑
》过滤器
‑‑
》(资产
‑‑
》事件缓存
‑‑
》规则
‑‑
》告警)
‑‑
》db\es 的流程顺序组织显示排列布局展示，各个过程之间利用流动线段进行数据流的相关展示。
11.进一步地，所述接入设备的类型包括防火墙、linux、路由器、交换机、数据库。
12.进一步地，所述通过事件缓存区域，利用动态流动线条分别连接了资产显示区域、规则显示区域、事件存储区域、过滤器区域。
13.进一步地，所述前端页面上所有显示的数字均可以进行点击，点击后通过列表显示24小时内的相应信息。
14.与现有技术相比，本发明具有的有益效果：本发明将日志解析过程全生命周期进行可视化呈现，各个阶段的处理状态和异常情况清晰可见，一目了然。将原来运维人员需要多个页面来回切换才能获取到的信息集中到一个页面，节省了运维人员获取信息的时间，减少了操作步骤。
附图说明
15.图1为本发明实施例一种基于syslog日志解析过程的可视化方法的基本流程图；图2为本发明实施例一种基于syslog日志解析过程的可视化方法设计的前端页面示例图。
具体实施方式
16.下面结合附图和具体的实施例对本发明做进一步的解释说明：如图1所示，一种基于syslog日志解析过程的可视化方法，整个过程大致分为以下步骤：1.通过主动或者被动采集方式获取安全设备的多源异构的日志信息。
17.2.通过范式化方式将不同设备的不同格式的安全日志转化成统一的标准化的事件对象，供审计系统后续的业务分析。
18.3.针对标准化后的事件对象在事件缓存中进行流式处理，进行条件过滤、合并去重、垃圾数据清洗、基于规则的关联分析等各种分析操作。
19.4.标准化后的事件对象，以及上一步关联分析的结果进行入库持久化操作，存入mysql或者elasticsearch中，供后续业务查询和检索用，满足针对安全事件的审计和溯源需求。
20.具体地，为了满足安全运维人员从整体维度全面了解全网资产的安全状态，本发明将日志审计系统的关键步骤和节点进行了整理和排列，以可视化的形式，将系统的主要流程以数据流的形式进行展示，同时将每个关键节点的重要统计数据进行动态呈现，针对重要统计数据提供点击读取。一种基于syslog日志解析过程的可视化方法具体包括：第一步：梳理出syslog日志的解析过程，设计前端页面（如图2所示），根据不同过程设计不同的可视化图标。按照接入设备
‑‑
》采集器
‑‑
》智能范式化
‑‑
》过滤器
‑‑
》(资产
‑‑
》事件缓存
‑‑
》规则
‑‑
》告警)
‑‑
》db\es 等流程顺序组织显示排列布局展示。各个过程之间利用流动线段进行数据流的相关展示。其中db表示数据库（database），具体可采用mysql，es表示elasticsearch。具体地，前端页面包括接入设备显示区域、采集器显示区域、智能范式
化区域、过滤器区域、事件缓存区域、资产显示区域、规则显示区域、告警显示区域、事件存储区域。
21.第二步：接入设备显示区域位于整个页面显示的最底部。通过接入日志源的ip地址，利用资产探测工具获取接入日志源的设备指纹信息，通过系统内置的字典表判断接入设备的类型，在接入设备显示区域动态显示接入设备的类型及接入设备数（设备类型有 防火墙、linux、路由器、交换机、数据库等），根据实际接入的设备数和设备类型，前端动态展示。同时利用动态流动线条将接入设备显示区域与采集器区域相连。
22.第三步：采集器显示区域位于接入设备显示区域的上方。通过查询系统中注册的采集器的信息，动态显示采集器的数量，同时通过监控采集器单位时间内处理的事件量，动态显示eps（event per second ，即每秒事件数）情况。采集器的工作状态（异常标红，正常标绿）。同时利用动态流动线条将采集器区域与智能范式化区域相连。
23.第四步：智能范式化区域位于采集器显示区域的上方。通过查询系统中启用的范式化文件数量和种类，动态显示正常启用的范式化文件的数量和种类图标，如果有范式化文件异常，该区域进行红色高亮闪动提示。同时利用动态流动线条将智能范式化区域与过滤器区域相连。
24.第五步：过滤器区域位于智能范式化区域的上方。通过查询系统中启用的过滤器的数量和种类，动态显示正常启用的过滤器的数量和种类图标，同时利用动态流动线条将过滤器区域与事件缓存区域相连。
25.第六步：事件缓存区域位于过滤器区域的上方。事件缓存区域是核心区域，通过事件缓存区域利用动态流动线条分别连接了资产显示区域、规则显示区域、事件存储区域、过滤器区域。通过查询系统中的资产数（手动录入和动态发现），将资产信息在资产显示区域进行显示；资产信息作为流入数据流入事件缓存区域中进行分析。事件缓存区域中的数据流出到规则显示区域，规则显示区域通过查询系统中启用的规则数量动态显示实际工作的规则数。规则显示区域后方通过动态流通线条连接告警显示区域；告警显示区域通过查询系统中的告警数，动态显示告警信息，如果有告警产生，告警显示区域红色高亮，闪动。
26.第七步：事件存储区域位于事件缓存区域的上方，也是整个页面的最上方。事件存储区域分为db和es两个子区域，分别动态显示存入到mysql和elasticsearch中的事件数据量。
27.值得说明的是，前端页面上所有显示的数字都可以点击，点击后通过列表显示24小时内的相应信息。
28.在上述实施例的基础上，本发明还提出一种基于syslog日志解析过程的可视化系统，包括：前端页面设计单元，用于梳理出syslog日志的解析过程，设计前端页面，根据不同过程设计不同的可视化图标；前端页面包括接入设备显示区域、采集器显示区域、智能范式化区域、过滤器区域、事件缓存区域、资产显示区域、规则显示区域、告警显示区域、事件存储区域；其中设备显示区域、采集器显示区域、智能范式化区域、过滤器区域、事件缓存区域、事件存储区域依次通过动态流动线条相连；设备显示区域动态显示单元，用于通过接入日志源的ip地址，利用资产探测工具获取接入日志源的设备指纹信息，通过系统内置的字典表判断接入设备的类型，在接入设
备显示区域动态显示接入设备的类型及接入设备数；采集器显示区域动态显示单元，用于通过查询系统中注册的采集器的信息，在采集器显示区域动态显示采集器的数量，通过监控采集器单位时间内处理的事件量，在采集器显示区域动态显示eps情况；智能范式化区域动态显示单元，用于通过查询系统中启用的范式化文件数量和种类，在智能范式化区域动态显示正常启用的范式化文件的数量和种类图标，如果有范式化文件异常，智能范式化区域进行红色高亮闪动提示；过滤器区域动态显示单元，用于通过查询系统中启用的过滤器的数量和种类，在过滤器区域动态显示正常启用的过滤器的数量和种类图标；综合显示单元，用于通过查询系统中的资产数，将资产信息在资产显示区域进行显示；资产信息作为流入数据流入事件缓存区域中进行分析，事件缓存区域中的数据流出到规则显示区域，规则显示区域通过查询系统中启用的规则数量动态显示实际工作的规则数，规则显示区域后方通过动态流通线条连接告警显示区域；告警显示区域通过查询系统中的告警数，动态显示告警信息，如果有告警产生，告警显示区域进行红色高亮闪动提示；事件存储区域动态显示单元，用于在事件存储区域动态显示存入到elasticsearch和mysql中的事件数据量。
29.进一步地，所述前端页面设计单元还用于：按照接入设备
‑‑
》采集器
‑‑
》智能范式化
‑‑
》过滤器
‑‑
》(资产
‑‑
》事件缓存
‑‑
》规则
‑‑
》告警)
‑‑
》db\es 的流程顺序组织显示排列布局展示，各个过程之间利用流动线段进行数据流的相关展示。
30.进一步地，所述接入设备的类型包括防火墙、linux、路由器、交换机、数据库。
31.进一步地，所述通过事件缓存区域，利用动态流动线条分别连接了资产显示区域、规则显示区域、事件存储区域、过滤器区域。
32.进一步地，所述前端页面上所有显示的数字均可以进行点击，点击后通过列表显示24小时内的相应信息。
33.综上，本发明将日志解析过程全生命周期进行可视化呈现，各个阶段的处理状态和异常情况清晰可见，一目了然。将原来运维人员需要多个页面来回切换才能获取到的信息集中到一个页面，节省了运维人员获取信息的时间，减少了操作步骤。
34.以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。