一种政务云场景下监控数据汇聚与处理方法与流程

1.本发明涉及政务云管理技术领域，尤其涉及一种政务云场景下监控数据汇聚与处理方法。


背景技术：

2.在政务云场景下，云服务商通常运营多个云中心，各个云中心会使用监控工具对设备及网络等进行性能监控。云运营商通常希望将各云中心资源运行状态等监控数据汇聚到指挥中心，以便提高运营管理效能。伴随着业务规模的不断扩大，该项工作的诉求变得日益紧迫。在分布式云架构体系下，由于云中心数目较多，规模和监控管理情况存在差异。导致监控数据，无论是在数据体量、数据质量以及数据结构均存在差异。政务云有其运营模式的特殊性，统一主管部门下的云中心存在数据合并分析供其查看的需求场景。从宏观上来讲，对多云中心数据的汇聚带来了一定的障碍。因此，怎么处理好云中心基础数据是数据汇聚首要的一环。因该场景下对数据的传输安全要求较高，在传输中必须使用数据加密等多重数据安全保障机制。


技术实现要素：

3.为了解决政务云场景下多各云中心运行监控数据汇聚困难的问题，本发明提供了一种政务云场景下监控数据汇聚与处理方法。从云中心基础数据标准化处理、数据加密及传输、指挥中心数据汇集及处理、以及数据处理规模弹性可扩展等方面提出一套架构方案，旨在降低数据接入对接工作量、提高系统可用性，提高数据实时性传输及实时性处理能力，从而达到更好的辅助管理的效果。
4.本发明的技术方案是：
5.一种政务云场景下监控数据汇聚与处理方法，通过优化数据处理流程及架构设计方法，采用zabbix(不仅限于zabbix)进行数据采集，在云中心对数据进行初步处理，目的在于规范化数据格式，通过vpn或其他安全网络手段将数据实时传输至指挥中心数据汇聚节点。汇聚节点使用kafka、flink等中间件对数据进行计算处理，kafka等中间件采用集群化可扩展的部署模式，从而保证接入云中心数据可以弹性扩展。需要实时提供的数据采用flink提供的流处理引擎方式进行快速汇总计算，通过api接口对外提供。实时性要求不高的数据通过批处理方式，处理并存入数据库，同样通过api接口对外提供。从而实现分布式云场景下各云中心监控数据的统一管理。同样对于有特殊数据需求的云服务使用客户，指挥中心数据平台可向其轻松实现定制化api接口服务。
6.进一步的，
7.云中心采用zabbix进行监控数据采集(监控工具不仅限于zabbix，prometheus或其他自研工具均可)。采集工具可以部署多套，允许数据冗余，从而换取数据准确性及高可用性。数据处理工程获取zabbix采集数据并进行初步处理存入数据库，数据库采用主备方式保证数据的安全性及高可靠性。同时，云中心应用程序具备对外提供数据接口的能力，数
据均使用加密算法进行加密。数据的标准化预处理大大增加有效数据密度，降低数据体量，从而提高数据实时性传输能力。
8.各云中心需要将初步处理并完成加密的数据实时推送到指挥中心数据汇聚节点的kafka(一种消息队列)。加密后的数据一般使用零信任网络或vpn通道的方式进行传输。kafka使用ssl或sasl安全策略方式进行数据安全保证。
9.在汇聚中心部署kafka集群以提高数据的吞吐能力。将消息队列中数据接入到流处理框架flink，依赖其强大的流处理引擎进行分析处理，对时效性要求较高的热数据进行实时计算，并将计算结果写入redis及数据库中，供外部接口调用。时效性要求不高的需要归并统计分析的数据，计算后存入数据库，并根据业务需求对外提供数据接口。充分利用kafka、flink部署灵活扩容方便的以及flink强大计算能力的特点，实现数据接入高可靠及弹性可扩展的目的。
10.本发明通过优化数据处理及传输架构模式、规范化基础数据处理流程等方面着手，达到简化分布式云场景下各云中心监控数据接入的目的。同时，运用多重安全手段保障数据实现安全传输的目标。使用灵活易扩展的消息队列及数据处理中间件实现数据接入规模弹性扩容的目的。指挥中心数据汇聚平台完成数据精细化处理后，可根据客户及云服务商自身运营需求，提供各种定制化数据api接口。
11.1)云中心采集监控工具集群化部署
12.物理设备及网络监控常用的监控采集工具如zabbix、prometheus等，在单节点部署的情况下，可能因为网络波动、节点工作异常等情况导致采集异常的情况。为最大限度的保证数据的完整性，在监控软件部署时，采用集群化部署的方案。于此同时，提高缩短每个采集指标的采集周期，以数据冗余换取数据的完整及可靠性。采集工具不仅限于常用软件，可以为其他自研采集工具。
13.2)云中心数据预处理及数据库高可用架构
14.常用的采集工具一般都会提供api接口供外部调用，但数据格式存在差异。云中心部署的数据处理应用程序会调用采集工具api接口拉取原始数据，并按照相同的数据标准格式进行数据预处理。这样的目的便于后续操作，并提高了有价值数据密度。数据库采用主备模式，提高稳定性及可靠性。
15.3)基于数据加密、安全通道及中间件安全策略的传输机制
16.政务云场景下，对数据传输的安全要求级别较高。在云中心往指挥中心汇聚节点推送数据过程中，采用多重安全保证。首先对需要推送的接口数据使用国密算法或其他加密算法进行加密。传输通道使用零信任网关或vpn进行传输。消息队列中间件kafka使用ssl或sasl安全策略方式进一步对数据安全提供保证。
17.4)使用消息队列集群、流批处理引擎中间件集群保证处理能力弹性扩展
18.使用消息队列集群，增加数据接入的承载能力，同时保证数据传输的稳定性，kafka具有集群部署便捷高可扩展性、编程操作方便的特点。使用flink作为流处理引擎，依托其强大的实时计算能力对实时热数据进行快速处理。
19.5)依托数据平台可提供各类定制化数据接口
20.基于各云中心汇聚并完成处理的数据，可根据业务需求对内部及外部提供各类定制化接口。查询频率较高以及实时性要求较高的数据存放在redis中，供接口查询。对时效
要求不高的数据存放在数据库中，供接口查询。对数据查询权限进行多级权限分配，满足不同类型用户对数据的使用要求。
21.本发明的有益效果是
22.解决了政务云场景下分布式云中心监控数据汇聚困难的问题，通过规范化接入流程降低工作量，通过优化架构方式提高数据接入处理能力及实时性传输能力，具体表现为：
23.1)规范化数据接入方式降低数据接入难度，提高实时传输能力
24.一般情况下受限于各云中心实际使用情况及各种历史原因，监控工具可能存在各种差异，导致在各云中心数据汇聚时存在一定难度。主要表现在数据结构及数据体量可能存在较大差异，给数据处理及数据传输带来一些列的问题。本发明旨在对原始数据进行预处理，一方面达到统一数据结构的目的，另一方面提高有效数据密度达到压缩数据传输量及提高传输效率的目的。
25.2)优化架构方式提升承载接入容量及处理能力
26.引入方便部署及扩容的消息队列及流处理引擎中间件，提高数据接入的可承载容量。同时，提高对实时数据的处理能力。从而从容应对多云中心接入及数据陡增的情况。
27.3)提供更加丰富的内外数据接口，同时缩短开发周期
28.该方案下数据汇聚到指挥中心数据平台，数据从不同维度经过大量处理快速计算并入库，可以满足内外部客户对数据的各类诉求。
附图说明
29.图1是系统整体架构工作示意图；
30.图2是云中心数据预处理架构示意图；
31.图3是数据处理全流程示意图。
具体实施方式
32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.本发明提供了一种政务云场景下监控数据汇聚与处理方法，在各云中心部署数据处理程序对各云中心采集到的数据进行标准化预处理。采集工具可通过集群部署或提高采集频率的方式，提高数据准确性。预处理后的数据存储到数据库中，并对数据加密后通过安全通道推送到数据汇聚中心的消息队列中。这种方式实现了，汇聚数据的结构标准化，提高了有效数据的密度，保证了数据传输的安全。指挥中心将各云中心推送到kafka的数据接入flink流处理引擎进行进行实时计算处理。热数据存在redis中，全量数据存储到数据库中，提供api接口供外部调用。kafka及flink均具备灵活扩展集群部署的特点，从而达到弹性可扩展，云中心灵活接入的目的。
34.包括：云中心监控数据采集、云中心数据预处理及存储、数据加密及传输、汇聚数据处理及存储、数据接口提供。其中云中心监控数据采集依赖于各云中心现有采集工具及方法，在本发明中主要通过其提供api接口或数据库查询原始数据。
35.1)云中心数据预处理及存储
36.由于各云中心对监控工具情况存在差异，导致的数据结构差异问题。通过云中心数据处理工程，对于云中心数据进行初步处理。处理方法分为两步，第一步确定现有采集工具类型，是否提供标准api接口或提供原始数据库开放权限。第二步需要对api接口数据结构或数据库表结构进行分析。基于以上两步设计出合理处理方法对数据进行预处理，并存储到关系型数据库中供后续接口对外提供数据使用。对于云中心的数据库架构方式，为保证其高可用，采用主从架构模式。
37.2)数据加密及传输
38.云中心提供的数据接口需进行加密，云中心数据处理工程在对外提供数据前使用和指挥中心约定好的加密方式对数据进行加密。同时，消息队列启用ssl或sasl安全策略，二者之间网络通信使用vpn或零信任网关接入的方式，从而实现多级安全保障的目的。
39.3)指挥中心汇聚环境数据处理
40.指挥中心汇聚环境通过部署kafka集群的方式，提供数据的承载容量问题。消息队列接入flink，使用约定的算法，对数据进行解密，并对数据进行处理。查询频率较高的数据写入redis以便于提供接口查询速率。数据全量写入数据库供后续接口调用查询使用。
41.4)基于完成处理的数据对外提供定制化接口
42.在指挥中心完成处理的数据可根据内部或外部的业务需求，定制化开发数据接口。用指挥中心应用程序对外暴露，使用多级权限管理的方式，控制用户各类角色对数据接口的对用需要。
43.以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。