企业工控安全大脑平台系统及运行方法与流程

1.本发明涉及网络安全技术领域，更具体地，涉及一种企业工控安全大脑平台系统及运行方法。


背景技术：

2.随着企业业务发展，企业工控安全运营对业务连续性的要求越来越高，那么就对安全风险的前期感知与响应处理阶段提出了更高的要求，因此企业对于提升自身对安全风险的感知与处理能力需求显得越发重要。
3.在企业内部运行着各种软硬件系统支撑着企业的网络、安全、业务应用，软硬件系统的日志作为系统运行情况的汇报与记录信息，长期以来只是作为记录并不作为重要管理对象，随着企业的不断发展，企业网络中的硬件设备和软件系统越来越多，每天产生着大量的各式各样日志信息，信息密度非常大，没有一种方式可以有效承载消纳大量的日志信息，导致长期以来日志是作为安全管理的边缘末端来对待，只有当发生故障或是安全事件的时候才会被追溯查询。大量的日志不断的产生，不断的占用磁盘空间，也不断的被忽略。但其实，当系统或设备运行发生问题时，日志是最早能反应问题的信息源，想要提升对风险感知的能力与速度就非常有必要利用好日志信息。
4.同时，聚焦到网络安全管理领域，随着企业对安全建设的要求与发展，初始阶段会采购使用各种网络设备、安全设备，大多数企业网络中会存在不同品牌和种类的设备产品，如何让各种安全设备有效整合，提升企业整体的安全管理水平，使得企业的安全建设迈入安全运营管理的新阶段，也成为了企业安全建设亟待实现的目标。
5.目前，由于各种设备、系统生成的日志格式、日志内容各不相同，也没有统一标准，绝大多数是非结构化的文本信息，从海量的文本日志中提炼有效管理线索难度较大，依靠人工来检查分析海量日志并不现实；市场现有的产品或方案，比如日志审计设备只是起到对日志汇总保存，无法形成针对性分析，对日志中的异常事件进行定位处理，也没有统一安全运营管理的平台完成对企业内各种安全事件的分析管理。
6.因此，有必要开发一种企业工控安全大脑平台系统及运行方法。
7.公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

8.本发明提出了一种企业工控安全大脑平台系统及运行方法，其能够基于结构化日志信息采集处理，并将多源安全事件数据汇聚到统一的管理中台整合信息、集中管控，从而解决以上企业信息安全建设关切目标，为企业安全运营管控提供动能与管理抓手。
9.本发明的技术方案是：
10.本发明提供一种企业工控安全大脑平台系统，包括日志信息采集层、智能分析处
理层、安全运营层、系统接口层：
11.所述日志信息采集层，用于通过日志采集脚本程序采集结构化日志信息，发送至所述智能分析处理层；
12.所述智能分析处理层，用于接收所述结构化日志信息进行实时分析处理，根据分析处理结果，将异常问题发送给所述安全运营层；
13.所述安全运营层，用于对所述日志信息采集层与所述智能分析处理层实现配置、管理与监控，针对所述异常问题进行异常处理；
14.所述系统接口层，用于平台系统对外开放接口的管理，以及外部系统接口的对接与管理。
15.优选地，通过日志采集脚本程序采集结构化日志信息包括：
16.通过主动轮询采样方式直接从设备或系统采集，获得所述结构化日志信息。
17.优选地，通过日志采集脚本程序采集结构化日志信息包括：
18.通过监听原始日志方式对设备或系统产生的原始日志信息进行采集、数据清洗、数据补充、格式化处理后形成所述结构化日志信息。
19.优选地，所述安全运营层包括：
20.日志采集管理模块，用于对所述采集脚本程序进行管理与监控。
21.优选地，所述安全运营层还包括：
22.定时任务管理模块，用于定时任务的管理与执行；
23.监控指标管理模块，用于配置监控指标。
24.优选地，所述安全运营层还包括：
25.配置管理模块，用于集中保存、管理整个安全运营环境所需的软、硬件的配置信息，记录所述配置信息的变动情况；
26.工单管理模块，用于对安全大脑平台生成的工单任务事项记录处理过程。
27.优选地，所述安全运营层还包括：
28.预警管理模块，用于定义管理指标的预警策略、预警方式以及预警信息管理。
29.优选地，所述安全运营层还包括：
30.数据报表模块，用于展示、输出安全运营管理报表；
31.大屏展示模块，用于企业安全监控中心大屏展示。
32.本发明还提供了一种企业工控安全大脑平台系统的运行方法，包括：
33.步骤1：在所述安全运营层注册采集器程序，生成采集任务唯一的标识id，校验采集脚本程序；
34.步骤2：定义采集器程序，编写采集程序代码制定采集监控对象的日志采集逻辑与策略，在代码中加入标识自身任务的代码段；
35.步骤3：通过日志采集脚本程序采集结构化日志信息，发送至所述智能分析处理层；
36.步骤4：所述智能分析处理层通过大数据流式处理框架，实现对所述结构化日志信息的实时分析处理，根据分析处理结果，将异常问题发送给所述安全运营层；
37.步骤5：所述安全运营层针对所述异常问题进行异常处理。
38.优选地，所述步骤3包括：
39.步骤301：判断是否在预定时间段内采集到了预期的日志信息，若是，执行步骤304；若否，执行步骤302；
40.步骤302：判断未正常采集到的日志是否存在时间段内的异常堆栈信息，若是，则获取所述异常堆栈信息并分配唯一标识；若否，则生成本次采集失败结果作为异常问题，并分配唯一标识；
41.步骤303：检查告警库内是否已有对应唯一标识的告警信息，若否，向告警库记录包含所述唯一标识的异常问题；
42.步骤304：针对所述日志信息进行日志内容时间信息的过滤，筛选出不包含时间信息的日志内容；
43.步骤305：基于步骤304中得到的日志内容，根据哈希散列算法计算本条日志内容的数字指纹；
44.步骤306：读取本类日志内容的消重策略，其中，消重策略因素包括：时间间隔、消重动作；
45.步骤307：根据步骤305的数字指纹与步骤306的消重策略，同平台日志指纹库进行比对，如所述时间间隔内日志指纹库中不存在相同数字指纹的日志，则将所述日志信息转发至处理队列，并将本次日志信息及数字指纹记录到日志指纹库；否则，执行步骤306中设定的消重动作。
46.本发明的有益效果：
47.本发明通过对原本分散不规则的日志进行格式化结构化处理形成可分析可监控的管控指标项，从大量日志中挖掘核心高价值信息，达到将日志信息同业务管控挂钩的目的。并且对日志进行实时分析处理，实现对日志信息颠覆性的有效利用，从而显著提升了企业对各项管控指标的安全风险感知能力与感知速度，同时对这种感知能力可以通过增加相应的业务日志采集逻辑与分析处理逻辑进行扩展，以满足不同企业不同发展阶段的各类差异化安全管控需求。
48.本发明提供的平台可以对企业各类软硬件系统的日志纳入统一平台管控，消纳信息孤岛，打破异构设备与系统间的差异壁垒，从统一平台入口统一管理所有设备系统的日志，相较于原本分散孤立的各日志信息源独立管理的方式具有较大优势，可以进一步使得安全管理的感知与响应敏捷化、体系化，为企业安全管理目标的实现提供有力支撑。
49.本发明的平台通过与外部系统的联动操作，提升企业安全运维的智能化、自动化水平，有效为企业的信息安全管理提供全方位的支撑，为实现企业的安全管控和业务连续性目标保驾护航。
50.本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
51.通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
52.图1示出了根据本发明的一个实施例的一种企业工控安全大脑平台系统的示意图。
53.图2示出了根据本发明的一个实施例的企业工控安全大脑平台系统的运行方法的步骤的流程图。
54.图3示出了根据本发明的一个实施例的日志数据流式处理的示意图。
55.图4示出了根据本发明的一个实施例的网络设备负载日志实时处理的流程示意图。
56.图5示出了根据本发明的一个实施例的接口网管方式日志实时处理的流程示意图。
具体实施方式
57.下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
58.实施例1
59.如图1所示，该企业工控安全大脑平台系统，包括日志信息采集层、智能分析处理层、安全运营层、系统接口层：
60.日志信息采集层，用于通过日志采集脚本程序采集结构化日志信息，发送至智能分析处理层；
61.智能分析处理层，用于接收结构化日志信息进行实时分析处理，根据分析处理结果，将异常问题发送给安全运营层；
62.安全运营层，用于对日志信息采集层与智能分析处理层实现配置、管理与监控，针对日志信息所体现的管理指标异常进行异常处理；
63.系统接口层，用于平台系统对外开放接口的管理，以及外部系统接口的对接与管理。
64.在一个示例中，通过日志采集脚本程序采集结构化日志信息包括：通过主动轮询采样方式直接从设备或系统采集，获得结构化日志信息。
65.通过日志采集脚本程序采集结构化日志信息包括：通过监听原始日志方式对设备或系统产生的原始日志信息进行采集、数据清洗、数据补充、格式化处理后形成结构化日志信息。
66.具体地，所述的企业工控安全大脑平台系统，包括：日志信息采集层、智能分析处理层、安全运营层和系统接口层；
67.日志信息采集层主要通过日志采集脚本程序以两种方式采集日志：其一，通过主动轮询采样方式直接从设备或系统进行可定义格式的结构化日志采集；其二，通过监听原始日志方式对设备或系统产生的原始日志信息进行采集、数据清洗、数据补充、格式化处理后形成结构化日志；通过上述两种方式采集到的结构化日志信息将被进一步提交给智能分析处理层进行进一步的分析处理；
68.智能分析处理层负责接收日志信息采集层传递过来的数据进行实时分析处理，并根据分析处理结果，将异常问题继续推送给安全运营层的预警、工单等模块，驱动后续的异常处理流程。
69.安全运营层对日志信息采集层与智能分析处理层实现配置、管理与监控，针对日志信息所体现的管理指标异常进行异常处理，包括：
70.日志采集管理模块，用于对日志信息采集层的采集脚本程序进行管理与监控；
71.定时任务管理模块，用于管理定时任务的执行；
72.监控指标管理模块，用于配置定义企业各种类型的监控指标；
73.配置管理模块，用于集中保存、管理整个安全运营环境所需的软硬件配置项的详细信息，记录配置信息的变动情况；
74.预警管理模块，用于定义各项管理指标的预警策略、预警方式以及预警信息管理，预留对接外部邮件系统、短信接口、微信接口的方式；
75.工单管理模块，用于对安全大脑平台生成的工单任务事项记录处理过程，形成管理闭环；
76.数据报表模块，用于展示输出各项安全运营管理报表；
77.大屏展示模块，用于企业安全监控中心大屏展示。
78.系统接口层用于平台系统对外开放接口的管理，以及外部系统接口的对接与管理；系统接口层包括业务接口、设备接口等，外部系统接口包括短信平台、邮件系统、微信平台、外部系统(设备)开放接口等。智能分析处理层可根据本模块定义的外部系统接口调用方式，结合处理策略通过触发外系统接口的调用实现与外部系统的联动操作，从而为安全大脑平台(esb)进一步实现智能化运维、自动化运维能力。
79.实施例2
80.图2示出了根据本发明的一个实施例的企业工控安全大脑平台系统的运行方法的步骤的流程图。
81.如图2所示，该企业工控安全大脑平台系统的运行方法，包括：
82.步骤1：在安全运营层注册采集器程序，生成采集任务唯一的标识id，校验采集脚本程序；
83.步骤2：定义采集器程序，编写采集程序代码制定采集监控对象的日志采集逻辑与策略，在代码中加入标识自身任务的代码段；
84.步骤3：通过日志采集脚本程序采集结构化日志信息，发送至智能分析处理层；
85.步骤4：智能分析处理层通过大数据流式处理框架，实现对结构化日志信息的实时分析处理，根据分析处理结果，将异常问题发送给安全运营层；
86.步骤5：安全运营层针对日志信息所体现的管理指标异常进行异常处理。
87.具体地，该企业工控安全大脑平台系统的运行方法，包括：
88.步骤1：在安全运营层日志采集管理模块，注册定义采集器程序，生成采集任务唯一标识id，日志采集脚本程序基于此唯一标识同安全大脑(esb)标识自身合法性，无正常标识的采集脚本程序将无法通过安全大脑(esb)平台的校验正常上报日志信息，同时安全大脑(esb)基于此唯一标识检查监测日志采集脚本程序的工作状态。
89.步骤2：定义采集器程序，编写采集程序代码制定采集监控对象的日志采集逻辑与策略，并且在代码中加入标识自身任务id的代码段。
90.步骤3：配置安全大脑(esb)安全运营层定时任务管理模块，对于轮询采样方式获取交换机负载日志采集脚本定时执行频率，使采集脚本定时执行。
91.步骤4：执行采集器程序，开始日志信息采集。
92.步骤5：对于日志内容进行智能分析处理。
93.本实施例将对步骤2中，日志信息采集层的两种日志采集方式分别举例以详细说明日志采集工作机制：
94.(1)主动轮询采样：以使用python访问网络设备获取cpu负载与内存使用情况、实时带宽速率等信息，并组成结构化日志，形如如下格式：
95.{
96."网络设备负载":{"厂区":"总部","设备类型":"交换机","设备ip":"10.10.10.2","cpu负载":"30％"，"内存占用":"40％","实时带宽":"23456kbps"，"日志时间":"2021年10月21日12:01:15"，"采集任务id"}
97.}
98.将此结构化日志信息推送给智能分析处理层进行进一步判断处理。
99.(2)监听原始日志：对设备或系统产生的原始日志信息进行采集、数据清洗、格式化处理：以使用python检测网络防火墙各接口网管方式变化信息为例，编写python程序监听防火墙upd514端口，获取syslog日志，原始日志形如：
100.ipsec隧道sa收到通知消息，名称：[xxx]，地址：[a.b.c.d/500]，状态：[-]，通知内容：[invalid-message-id]，cookie：[4e16f915dd4ff3d9/04875b01b7dee1da]
[0101]
来自模块：接口，信息：接口[ge2]开启了管理方式[http]
[0102]
模块：地址信息，详细信息：添加地址对象主机条目，名称：[内网服务器]，类型：[包含]，主机：[1.2.3.4]
[0103]
可以看出即使是同一个设备的不同类型日志格式也是没有统一的规范规则，并且缺失设备类型、ip等重要信息，通过python日志采集程序从上述非结构化文本信息中过滤抽取接口网管方式变化信息，补充重要信息，并将其格式化处理，将关键有效信息提取成结构化的日志如下：
[0104]
{
[0105]
"接口网管方式":{"厂区":"总部","设备类型":"交换机","设备ip":"10.10.10.2"，"接口":["ge2"],"管理方式":"http","是否开启":true，"日志时间":"2021年10月21日12:03:00"，"采集任务id"}
[0106]
}
[0107]
将此结构化日志信息推送给智能分析处理层进行进一步判断处理。
[0108]
步骤5中，智能分析处理层通过大数据流式处理框架，实现对结构化日志信息的实时分析处理，如图3所示，根据分析处理结果，将异常问题发送给安全运营层；
[0109]
框架以kafka作为消息队列，接收日志采集程序生成的日志消息，准确入队供后续分析处理程序依次消费。分析处理段采用storm作为流式处理引擎，编写storm拓扑程序完成日志消息处理逻辑，提交集群运行拓扑。根据本实施例上述步骤2中举例的两种指标日志监管，分别描述实时处理逻辑过程，如下：
[0110]
(1)网络交换机负载日志信息消费：首先storm拓扑程序检查采集任务id是否在平台已注册，如未注册则忽略，如已注册则继续后续处理。过程如下：解析接收到的日志信息，将所属ip网络设备的负载情况与对应ip设备历史平均负载、配置库维护的负载阈值两项数据做比较，如果当前负载超过历史平均负载或负载阈值则生成运维工单并触发短信与邮件预警通知运维人员处理，同时将本次日志写入数据库持久化保存并重算更新对应设备历史
平均负载，后续处理反馈过程在运维工单内体现。处理逻辑如图4所示。
[0111]
(2)接口网管方式日志信息消费：首先storm拓扑程序检查采集任务id是否在平台已注册，如未注册则忽略，如已注册则继续后续处理。过程如下：解析接收到的日志信息，将日志报告ip网络设备的当前网管方式变动情况与配置库内相应设备接口定义的应配置网管方式做比较，如果匹配则只保存日志数据不触发其他操作，如不匹配则同时生成运维工单并触发短信与邮件预警通知运维人员处理，后续处理反馈过程在运维工单内体现。处理逻辑如图5所示。
[0112]
至此，完成了上述步骤5中所述两种安全监控指标(网络设备负载监控、设备接口网管方式监控)，从日志采集到，实时分析，异常预警，生成任务工单，工单绩效评价的完整管控过程。同样的，企业信息安全管理过程中关注的其他业务安全指标同样可以遵循以上模式，通过定义并编写采集程序脚本，编写智能分析处理程序，提交运行等过程来完成自定义配置并纳入安全大脑(esb)平台实时管控。
[0113]
步骤3中，针对异常接收进行异常处理，包括：
[0114]
步骤301：判断是否在预定时间段内采集到了预期的日志信息，若是，执行步骤304；若否，执行步骤302；
[0115]
步骤302：判断未正常采集到的日志是否存在时间段内的异常堆栈信息，若是，则获取异常堆栈信息并分配唯一标识；若否，则生成本次采集失败结果作为异常问题，并分配唯一标识；
[0116]
步骤303：检查告警库内是否已有对应唯一标识的告警信息，若否，向告警库记录包含唯一标识的异常问题；
[0117]
步骤304：针对日志信息进行日志内容时间信息的过滤，筛选出不包含时间信息的日志内容；
[0118]
步骤305：基于步骤304中得到的日志内容，根据哈希散列算法计算本条日志内容的数字指纹；
[0119]
步骤306：读取本类日志内容的消重策略，其中，消重策略因素包括：时间间隔、消重动作；
[0120]
步骤307：根据步骤305的数字指纹与步骤306的消重策略，同平台日志指纹库进行比对，如时间间隔内日志指纹库中不存在相同数字指纹的日志，则将日志信息转发至处理队列，并将本次日志信息及数字指纹记录到日志指纹库；否则，执行步骤306中设定的消重动作。
[0121]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。