网络安全运营管理平台的制作方法

1.本发明属于涉及网络安全技术领域，尤其涉及一种网络安全运营管理平台。


背景技术：

2.为应对日趋严峻的网络安全形势，企业陆续开展了从边界到终端各类安全防护平台、设备的建设部署，逐渐完善了信息安全隐患发现、防护处置、监测对抗、应急恢复等方面的能力。但由于缺少完善的运营管理工具、未形成统一的安全运营标准、人员技术水平参差不齐，如何解决内部存在的孤岛、碎片化和职能墙等内部安全壁垒问题，如何进行及时有效分析、预警与处置安全风险、快速真实地展现整体安全状态的能力亟待提升。
3.因此，通过网络安全运营管理平台的建设将设备、流程和技术进行有机的结合，实现网络安全集中监控、预警、运维、管理，满足网络安全协同指挥的工作要求，以全局视角统筹协调网络安全工作是提高网络安全运营管理水平的迫切需求。


技术实现要素：

4.针对现有技术中对于网络安全领域存在的问题，本发明实施例的目的是提供一种网络安全运营管理平台，以全局视角统筹协调网络安全工作是提高网络安全运营管理。
5.为了解决上述问题，本发明实施例提出了一种网络安全运营管理平台，其特征在于，包括：数据采集与治理模块、威胁感知与分析模块、监控告警模块、响应处置模块；
6.其中所述数据采集与治理模块用于执行以下操作：
7.根据数据源类型配置数据采集规则，以添加采集任务的形式对不同数据源进行采集配置，配置信息以xml的格式存储；系统自动加载数据采集配置信息；数据源类型包括网络设备、安全设备、主机设备、应用/服务；配置信息包括数据源接口信息、数据采集方式及数据存储形式，其中数据源接口信息包括资产名称、资产编码，数据采集方式可选择syslog、snmp、webservice，数据存储形式标明数据存储的指定数据库及数据表信息；
8.采集任务执行单元根据配置信息执行采集任务；采集任务执行单元包括syslog监听单元：用于开启syslog服务，接收syslog数据流snmp监听单元：用于开启snmp服务，接收snmp数据流；webservice调用单元：通过调用数据源提供的webservice接口，获取原始数据；网络流量监听单元：用于捕获交互设备镜像端口转发的数据流；专有协议监听单元，用于监听采集代理或其他采集系统发送的数据流；数据库中间件单元：预约向指定的数据库建立连接，并从指定的表中获取数据信息；
9.系统执行数据解析与封装操作；
10.数据解析执行单元基于策略文档对日志的字段信息进行解析；解析策略文档单元负责记录解析相关的策略，包括原日志格式的正则表达式描述、关键字段抽取策略等；策略文档一种是一系列解析正则表达式构成的xml文档，针对以文件形式存储或以数据流形式传输的原始日志；另一种为一系列sql语句与解析正则表达式构成的xml文档；针对以数据库形式存储的原始日志；解析出日志的属性内容后，采用json格式对原始日志数据进行封
装；
11.最后，将数据存入数据库中；
12.针对两大类型数据分别存储，第一类是非结构化的原始数据索引存储在elastic search数据库中存储，包含日志、告警、流量、漏洞等信息；第二类是结构化的数据存储在h2数据库、mysql数据库、oracle数据库中，包含资产配置、解析规则、关联规则、报表配置、系统配置信息；
13.其中所述威胁感知与分析模块用于执行以下操作：
14.收集解析后的数据，在进行关联分析前对数据进行预处理，实现对解析后的数据进行过滤；
15.数据过滤基于过滤规则库的过滤规则对数据进行过滤去除错误的和重复的信息，过滤规则包括数据源、规则名称、字段、正则表达式、操作、修改日期等；如利用过滤规则：(targetip:).*(192.168.0.1)过滤掉targetip为192.168.0.1的记录；
16.然后，建立数据队列表，收集数据预处理模块处理后的数据记录，按照时间顺序以事件队列的方式进行存放，提供给关联分析模块；
17.接下来，建立关联规则库；关联规则库基于多层次威胁树建立；
18.威胁树中的节点定义为事件层、状态层和目标层，采用五元组《节点名称,相关属性集,所属层次,关系类型,威胁描述》对节点进行量化描述；
19.再次，读取事件队列中的记录信息，并与关联规则库中的关联规则进行匹配，实现多源记录信息向关联规则的映射，将孤立的信息关联成威胁场景安全事件；
20.其中所述关联分析模块用于执行以下操作：
21.读取事件队列中的记录信息；
22.将其源ip、目的ip、源端口、目的端口等主要的特征与等待匹配的节点的预期属性值作比较，如果符合，则说明匹配成功；
23.将该节点的子节点设为下一个待匹配的节点，如果该记录信息的属性值与所有的待匹配节点都不符合，则将其余根节点的属性进行比较；如果有符合的根节点，则创建一个新的分支；
24.如果匹配到叶子节点，则表示此威胁场景还原成功，此时把整个规则树各节点的信息存储到数据库的报警信息表中，供报警信息展示程序提取信息；；
25.其中监控告警模块读取关联分析结果，实现告警的显示和管理；所述监控告警模块用于执行以下操作：
26.告警管理模块从数据库中读取告警事件，首先判断该告警是否为多次上报，对于多次上报事件，则不进行告警显示，将其存入历史告警数据表，对于新发生的告警，判断该事件是否需要在界面上显示，然后通过调用接口把取得的告警事件信息实时显示在界面上；
27.告警信息的管理包括告警状态的更改和告警等级的设置、历史告警事件进行统计、以及告警事件检索；
28.其中响应处置模块用于执行以下操作：
29.首先，建立任务生成模板，记录任务信息，模板内容包括任务编号、负责人、任务主题、状态、事件分类、任务紧急情况、任务描述、处理期限、处理结果等；当响应处置模块接收
到告警事件后，采用自动生成和手动生成两种方式生成任务；并将任务信息存入任务库中；
30.然后，建立响应模板，记录响应编号、响应要求、数据源、输入、输出、备注、后续响应编号、后续编号的跳转条件；响应模板定义完成后，存放在响应模板库中；当系统接收到响应处置任务后，引用响应模板，生成任务响应流程；
31.其中响应过程追踪模块对响应流程进行跟踪；所述响应过程追踪模块用于在执行以下操作：
32.响应处置模块获取网络安全报警事件，任务生成模块根据任务生成模板生成任务，将任务状态标记为“新建”；
33.将生成的任务提交至审核模块，审核模块对所述事件进行审核；
34.审核通过的任务创建任务响应流程，生成响应任务的内容以及响应的目标，并将事件状态标记为“待处理”；若审核不通过，则退回至任务生成模块；
35.在任务处置过程中依次对中间处置流程结果进行审核，在完成上一步的处置后，触发下一步的处置流程；
36.处置任务完成后将任务状态标记为“结束”，对任务信息进行存储；如果处置流程不能完成，则判断是否继续进行相应，如果需要继续进行相应，则退回到创建响应流程步骤对响应流程进行调整，继续执行响应任务；如果不再进行响应，则将任务状态标记为“挂起”，并存储。
37.其中，所述平台还包括：资产管理模块；其中资产管理模块通过主动识别资产，构建细粒度资产信息管理，通过资产与威胁、漏洞的联动分析，实现以资产为中心的网络安全全景实时监控；主要包括资产发现子模块、资产拓扑子模块、资产风险子模块；
38.资产发现子模块通过主机扫描和端口扫描两种方式主动发现资产；主机扫描用于快速发现资产，可查看ip、主机名、开放tcp和udp端口数，资产在线状态等信息；端口扫描用于细粒度发现资产信息，查看资产操作系统版本信息、端口、协议、服务、组件及其版本信息等；
39.资产拓扑子模块包括拓扑发现、拓扑布局等功能；资产拓扑发现主要完成对网络拓扑信息进行分析、检索、统计，最终形成网络拓扑可视化所需要的数据结构；本发明采用以路由设备为核心的拓扑发现算法，通过遍历所有路由设备，建立与路由设备的连接关系结构；拓扑布局采用树形布局算法，构造一个以根节点为基础的层次化拓扑布局；
40.资产风险子模块包括资产监控、资产漏洞关联、攻击告警关联及资产风险评估功能；本发明通过snmp trap或者agent监控资产cpu、内存、硬盘信息，通过ip地址与漏洞扫描信息、攻击告警进行关联，发现资产对应的漏洞及面临的攻击情况，通过资产风险值多维分析建模，结合资产重要程度、脆弱性及资产面临的攻击情况进行综合分析，评估出资产的风险值。
41.其中，所述平台还包括：报表管理模块；
42.其中所述报表管理模块包括：报表生成子模块、报表服务子模块
43.在报表生成子模块中生成报表模板，并保存在报表模板库中，记录模板的数据来源、布局参数、模板标识等；一张报表可配置多个数据源，布局参数包括报表头、报表脚、页、页头、页脚等区域，这些区域由报表项组成，报表项包括文本框、图片、表格、列表、矩阵等；
44.报表服务子模块通过标准的web services方式暴露服务接口，为报表设计和运行
时提供服务支持；
45.在运行时报表浏览器通过传递模板编号和具体参数值给报表服务，报表服务根据编号在在报表模板库中提取模板，并检索数据源，生成报表实例。
46.其中，所述平台还包括：系统管理模块；
47.其中所述系统管理模块用于对平台的基础数据和配置参数等进行管理；包括对平台用户操作和平台运营状态等信息的记录，对平台用户的基本信息，包括账号密码、账号状态和账号级别等的管理。
48.采用上述技术方案，本发明的有益技术效果在于：
49.1)本发明采用的数据采集技术，能够全面获取多源安全信息，为安全威胁的发现提供丰富的数据支撑。
50.2)本发明采用的威胁感知与分析技术，融合多源数据进行关联分析，可以有效降低告警冗余，提高威胁识别的准确率。
51.3)本发明采用的资产管理技术，从资产角度分析网络风险，实现对资产的数字化管理。
52.4)本发明采用的安全事件响应技术，实现事件处置流程的定制及对处置过程的跟踪，提升网络安全实现处置效率。
附图说明
53.图1是本发明数据采集与治理模块结构图；
54.图2本发明威胁感知与分析模块结构图；
55.图3是本发明关联分析引擎流程图；
56.图4是本发明响应处置模块结构图；
57.图5是本发明响应过程跟踪流程图；
58.图6是本发明报表管理模块结构图。
具体实施例
59.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
60.下面结合附图及本发明的实施例对后评估的方法进一步说明。
61.为实现上述目的，本发明打造集中监控、预警、运维、管理的网络安全体系，将流程、人员和技术进行有机的结合，以资产管理为核心，实现对安全事件的集中预警、分析和处置，通过强健的流程响应处置网络安全事件，为网络安全运营管理提供数字化支撑。
62.所述基于网络安全运营管理平台包括数据采集与治理模块、威胁感知与分析模块、监控告警模块、响应处置模块、资产管理模块、报表管理模块和系统管理模块。
63.其中，所述数据采集与治理模块包括数据采集子模块、数据解析子模块、数据存储子模块。
64.进一步的所述数据采集子模块实现多源数据的采集，采集对象包括网络设备、安全设备、主机设备、应用/服务等。本发明数据采集采用主动模式、被动模式、镜像模式三种
方式。主动模式主要通过部署采集代理获取以文件、数据库形式存储的原始数据。被动模式通过syslog、snmp、webservice等方式被动接收数据。镜像模式通过网络交换设备的镜像端口，接收来自网络中传输的数据流量。
65.进一步的所述数据解析子模块完成对接收到的原始数据的解析与数据格式归一化。首先对日志包含的字段信息进行正则表达式解析，提取出日志的属性内容，然后采用json格式对原始日志数据进行封装。
66.进一步的所述数据存储子模块实现对数据的统一存储。本发明针对两大类型数据分别存储，第一类是非结构化的原始数据索引存储在elastic search数据库中存储，包含日志、告警、流量、漏洞等信息。第二类是结构化的数据存储在h2数据库、mysql数据库、oracle数据库中，包含资产配置、解析规则、关联规则、报表配置、系统配置等信息。
67.其中，所述威胁感知与分析模块包括数据预处理子模块、事件队列子模块、关联规则库、关联分析引擎子模块。
68.进一步的数据预处理子模块对数据进行过滤。数据过滤基于过滤规则对数据进行过滤，去除错误的和重复的信息。
69.进一步的数据队列子模块建立数据队列表，收集数据预处理模块处理后的数据记录，按照时间顺序以事件队列的方式进行存放，提供给关联分析模块。
70.进一步的所述关联规则库基于多层次威胁树建立，用来匹配数据记录信息，实现关联分析。
71.进一步的所述关联分析引擎子模块实现多源记录信息向关联规则的映射，将孤立的信息关联成安全事件。
72.其中，所述监控告警模块读取关联分析结果，实现告警的显示和管理。主要包括告警显示子模块和操作管理子模块。
73.进一步的告警显示子模块读取告警事件信息实时显示在界面上。
74.进一步的操作管理子模块实现对告警信息的处理，包括告警状态的更改和告警等级的设置、对历史告警事件进行统计分析，以及对告警事件到的检索。
75.其中，所述响应处置模块实现事件处置流程的定制及对处置过程的跟踪。主要包括任务生成子模块、响应流程创建子模块、响应过程跟踪子模块。
76.进一步的所述任务生成子模块建立任务生成模板，记录任务信息。当响应处置模块接收到告警事件后生成任务，并将任务信息存入任务库中。
77.进一步的所述响应流程创建子模块通过建立响应模板预定义响应流程，通过模板引用创建响应流程。
78.进一步的所述响应过程跟踪子模块对响应任务的处理过程进行监控，任务处置过程中依次对中间处置流程结果进行审核，在完成上一步的处置后，触发下一步的处置流程。
79.其中，所述资产管理模块通过主动识别资产，构建细粒度资产信息管理，通过资产与威胁、漏洞的联动分析，实现以资产为中心的网络安全全景实时监控。主要包括资产发现子模块、资产拓扑子模块、资产风险子模块。
80.进一步的所述资产发现子模块通过主机扫描和端口扫描两种方式主动发现资产。主机扫描用于快速发现资产，可查看ip、主机名、开放tcp和udp端口数，资产在线状态等信息。端口扫描用于细粒度发现资产信息，查看资产操作系统版本信息、端口、协议、服务、组
件及其版本信息等。
81.进一步的所述资产拓扑子模块包括拓扑发现、拓扑布局等功能。资产拓扑发现主要完成对网络拓扑信息进行分析、检索、统计，最终形成网络拓扑可视化所需要的数据结构。本发明采用以路由设备为核心的拓扑发现算法，通过遍历所有路由设备，建立与路由设备的连接关系结构。拓扑布局采用树形布局算法，构造一个以根节点为基础的层次化拓扑布局。
82.进一步的所述资产风险子模块包括资产监控、资产漏洞关联、攻击告警关联及资产风险评估功能。本发明通过snmp trap或者代理监控资产cpu、内存、硬盘信息，通过ip地址与漏洞扫描信息、攻击告警进行关联，发现资产对应的漏洞及面临的攻击情况，通过资产风险值多维分析建模，结合资产重要程度、脆弱性及资产面临的攻击情况进行综合分析，评估出资产的风险值。
83.其中，报表管理模块通过自定义报表模板自动生成报表。包括报表设计子模块、报表服务子模块、报表生成子模块。
84.进一步的所述报表设计子模块负责报表模板的定义和维护。报表模板由数据信息和布局信息组成，每个模板对应一个编号，是其唯一标识，保存在报表模板库中。在运行时报表模板由报表服务解析和生成最终报表。报表模板为xml格式。
85.进一步的所述报表服务子模块通过标准的web services方式暴露服务接口，为报表设计和运行时提供服务支持。
86.进一步的所述报表生成子模块负责报表模板的解析。在运行时报表浏览器通过传递模板编号和具体参数值给报表服务，报表服务根据编号在在报表模板库中提取模板，并检索数据源，生成报表实例。
87.其中，所述的系统管理模块主要对平台的基础数据和配置参数等进行管理。包括对平台用户操作和平台运营状态等信息的记录，对平台用户的基本信息，包括账号密码、账号状态和账号级别等的管理。
88.数据采集与治理模块如附图1所示，其用于执行以下操作：
89.(1)根据数据源类型配置数据采集规则，以添加采集任务的形式对不同数据源进行采集配置，配置信息以xml的格式存储。系统自动加载数据采集配置信息。
90.数据源类型包括网络设备、安全设备、主机设备、应用/服务等。配置信息包括数据源接口信息、数据采集方式及数据存储形式，其中数据源接口信息包括资产名称、资产编码等，数据采集方式可选择syslog、snmp、webservice等，数据存储形式标明数据存储的指定数据库及数据表等信息。
91.(2)采集任务执行单元根据配置信息执行采集任务。
92.采集任务执行单元包括syslog监听单元：用于开启syslog服务，接收syslog数据流snmp监听单元：用于开启snmp服务，接收snmp数据流；webservice调用单元：通过调用数据源提供的webservice接口，获取原始数据；网络流量监听单元：用于捕获交互设备镜像端口转发的数据流；专有协议监听单元，用于监听采集代理或其他采集系统发送的数据流。数据库中间件单元：预约向指定的数据库建立连接，并从指定的表中获取数据信息。
93.(3)系统执行数据解析与封装操作。
94.数据解析执行单元基于策略文档对日志的字段信息进行解析。解析策略文档单元
负责记录解析相关的策略，包括原日志格式的正则表达式描述、关键字段抽取策略等。策略文档一种是一系列解析正则表达式构成的xml文档，针对以文件形式存储或以数据流形式传输的原始日志；另一种为一系列sql语句与解析正则表达式构成的xml文档。针对以数据库形式存储的原始日志。解析出日志的属性内容后，采用json格式对原始日志数据进行封装。
95.(4)将数据存入数据库中。
96.其中，针对两大类型数据分别存储，第一类是非结构化的原始数据索引存储在elastic search数据库中存储，包含日志、告警、流量、漏洞等信息；第二类是结构化的数据存储在h2数据库、mysql数据库、oracle数据库中，包含资产配置、解析规则、关联规则、报表配置、系统配置等信息。
97.本实施例中，威胁感知与分析模块如附图2所示。
98.首先，收集解析后的数据，在进行关联分析前对数据进行预处理，实现对解析后的数据进行过滤。
99.数据过滤基于过滤规则库的过滤规则对数据进行过滤去除错误的和重复的信息，过滤规则包括数据源、规则名称、字段、正则表达式、操作、修改日期等。如利用过滤规则：(targetip:).*(192.168.0.1)过滤掉targetip为192.168.0.1的记录。
100.然后，建立数据队列表，收集数据预处理模块处理后的数据记录，按照时间顺序以事件队列的方式进行存放，提供给关联分析模块。
101.接下来，建立关联规则库。关联规则库基于多层次威胁树建立。
102.威胁树中的节点定义为事件层、状态层和目标层，采用五元组《节点名称,相关属性集,所属层次,关系类型,威胁描述》对节点进行量化描述。
103.再次，读取事件队列中的记录信息，并与关联规则库中的关联规则进行匹配，实现多源记录信息向关联规则的映射，将孤立的信息关联成威胁场景安全事件。关联分析过程如附图3所示。
104.第一步：读取事件队列中的记录信息
105.第二步：将其源ip、目的ip、源端口、目的端口等主要的特征与等待匹配的节点的预期属性值作比较，如果符合，则说明匹配成功。
106.第三步：将该节点的子节点设为下一个待匹配的节点，如果该记录信息的属性值与所有的待匹配节点都不符合，则将其余根节点的属性进行比较。如果有符合的根节点，则创建一个新的分支。
107.第四步：如果匹配到叶子节点，则表示此威胁场景还原成功，此时把整个规则树各节点的信息存储到数据库的报警信息表中，供报警信息展示程序提取信息。
108.本实施例中，监控告警模块读取关联分析结果，实现告警的显示和管理。
109.告警管理模块从数据库中读取告警事件，首先判断该告警是否为多次上报，对于多次上报事件，则不进行告警显示，将其存入历史告警数据表，对于新发生的告警，判断该事件是否需要在界面上显示，然后通过调用接口把取得的告警事件信息实时显示在界面上。
110.告警信息的管理包括告警状态的更改和告警等级的设置、历史告警事件进行统计、以及告警事件检索。
111.本实施例中，响应处置模块如附图4所示：
112.首先，建立任务生成模板，记录任务信息，模板内容包括任务编号、负责人、任务主题、状态、事件分类、任务紧急情况、任务描述、处理期限、处理结果等。当响应处置模块接收到告警事件后，采用自动生成和手动生成两种方式生成任务。并将任务信息存入任务库中。
113.然后，建立响应模板，记录响应编号、响应要求、数据源、输入、输出、备注、后续响应编号、后续编号的跳转条件。响应模板定义完成后，存放在响应模板库中。当系统接收到响应处置任务后，引用响应模板，生成任务响应流程。
114.接下来，响应过程追踪模块对响应流程进行跟踪。流程如附图5所示：
115.第一步：响应处置模块获取网络安全报警事件，任务生成模块根据任务生成模板生成任务，将任务状态标记为“新建”。
116.第二步：将生成的任务提交至审核模块，审核模块对所述事件进行审核。
117.第三步：审核通过的任务创建任务响应流程，生成响应任务的内容以及响应的目标，并将事件状态标记为“待处理”。若审核不通过，则退回至任务生成模块。
118.第四步：在任务处置过程中依次对中间处置流程结果进行审核，在完成上一步的处置后，触发下一步的处置流程。
119.第五步：处置任务完成后将任务状态标记为“结束”，对任务信息进行存储。
120.第六步：如果处置流程不能完成，则判断是否继续进行相应，如果需要继续进行相应，则退回到创建响应流程步骤对响应流程进行调整，继续执行响应任务。如果不再进行响应，则将任务状态标记为“挂起”，并存储。
121.本实施例中，资产管理模块通过主动识别资产，构建细粒度资产信息管理，通过资产与威胁、漏洞的联动分析，实现以资产为中心的网络安全全景实时监控。主要包括资产发现子模块、资产拓扑子模块、资产风险子模块。
122.资产发现子模块通过主机扫描和端口扫描两种方式主动发现资产。主机扫描用于快速发现资产，可查看ip、主机名、开放tcp和udp端口数，资产在线状态等信息。端口扫描用于细粒度发现资产信息，查看资产操作系统版本信息、端口、协议、服务、组件及其版本信息等。
123.资产拓扑子模块包括拓扑发现、拓扑布局等功能。资产拓扑发现主要完成对网络拓扑信息进行分析、检索、统计，最终形成网络拓扑可视化所需要的数据结构。本发明采用以路由设备为核心的拓扑发现算法，通过遍历所有路由设备，建立与路由设备的连接关系结构。拓扑布局采用树形布局算法，构造一个以根节点为基础的层次化拓扑布局。
124.资产风险子模块包括资产监控、资产漏洞关联、攻击告警关联及资产风险评估功能。本发明通过snmp trap或者agent监控资产cpu、内存、硬盘信息，通过ip地址与漏洞扫描信息、攻击告警进行关联，发现资产对应的漏洞及面临的攻击情况，通过资产风险值多维分析建模，结合资产重要程度、脆弱性及资产面临的攻击情况进行综合分析，评估出资产的风险值。
125.本实施例中，报表管理模块如附图6所示：
126.在报表生成子模块中生成报表模板，并保存在报表模板库中，记录模板的数据来源、布局参数、模板标识等。一张报表可配置多个数据源，布局参数包括报表头、报表脚、页、页头、页脚等区域，这些区域由报表项组成，报表项包括文本框、图片、表格、列表、矩阵等。
127.报表服务子模块通过标准的web services方式暴露服务接口，为报表设计和运行时提供服务支持。
128.在运行时报表浏览器通过传递模板编号和具体参数值给报表服务，报表服务根据编号在在报表模板库中提取模板，并检索数据源，生成报表实例。
129.本实施例中，系统管理模块主要对平台的基础数据和配置参数等进行管理。包括对平台用户操作和平台运营状态等信息的记录，对平台用户的基本信息，包括账号密码、账号状态和账号级别等的管理。
130.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。