基于云原生分布式应用监控方法、装置、设备及介质与流程

1.本发明涉及数据安全领域，尤其涉及一种基于云原生分布式应用监控方法、装置、设备及介质。


背景技术：

2.在目前的云端数据存储中，需要对容器集群对应的数据进行分析，以根据数据情况判断容器集群的状态，对应用程序或节点服务器及时预警，由于存储大小的限制，历史数据存储的时间的问题(距现在时间较长数据会被遗弃)。也有一些采用prometheus联邦模式，随着集群数量越来越多，prometheus查询性能出现卡顿，同时，由于容器集群数量比较多，数据查询和告警流程繁琐，延迟较高，在多租户、多集群场景中，配置易出错，且效率较低。


技术实现要素：

3.本发明实施例提供一种基于云原生分布式应用监控方法、装置、计算机设备和存储介质，以提高云原生分布式应用监控效率。
4.为了解决上述技术问题，本技术实施例提供一种基于云原生分布式应用监控方法，包括：
5.配置caas化的容器监控服务；
6.基于所述容器监控服务进行应用数据的采集，得到初始数据；
7.将所述初始数据进行压缩传输至云存储，作为目标数据，并对所述目标数据进行存储；
8.对存储的所述目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理，所述两层告警包括业务告警和系统告警。
9.可选地，所述配置caas化的容器监控服务包括：监控数据的类型配置、系统组件监控配置和业务监控配置。
10.可选地，所述将所述初始数据进行压缩传输至云存储，作为目标数据包括：
11.将每个时间段的初始数据，按照预设规则，分配到不同节点服务器；
12.每个节点服务器通过多线程的方式，对初始数据进行数据解析与整合，将相邻并且数据属性属于同一类的数据进行合并处理，得到整合数据；
13.每个节点服务器将整合数据传输至云存储，并将所述整合数据作为目标数据存储至云存储中。
14.可选地，在所述将所述初始数据进行压缩传输至云存储，作为目标数据，并对所述目标数据进行存储之后，所述方法包括：
15.获取每个预设的页面查询条件；
16.基于所述预设的页面查询条件，对所述目标数据进行压缩，得到分类数据集合；
17.在接收到查询指令后，对所述查询指令进行解析，得到所述查询指令包含的目标
查询条件；
18.从所述分类数据集合中，获取与所述目标查询条件对应的分类数据，作为查询结果，并显示所述查询结果。
19.可选地，在所述对存储的所述目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理之前，所述方法还包括：
20.通过配置页面针对每个集群设置告警规则和告警发送人配置，并将告警规则写入主集群的监控规则；
21.在接收到告警查询信息时，基于主集群的监控查询组件查询告警信息。
22.为了解决上述技术问题，本技术实施例还提供一种基于云原生分布式应用监控装置，包括：
23.服务配置模块，用于配置caas化的容器监控服务；
24.数据采集模块，用于基于所述容器监控服务进行应用数据的采集，得到初始数据；
25.数据存储模块，用于将所述初始数据进行压缩传输至云存储，作为目标数据，并对所述目标数据进行存储；
26.监控告警模块，用于对存储的所述目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理，所述两层告警包括业务告警和系统告警。
27.可选地，所述数据存储模块包括：
28.数据分配单元，用于将每个时间段的初始数据，按照预设规则，分配到不同节点服务器；
29.数据处理单元，用于每个节点服务器通过多线程的方式，对初始数据进行数据解析与整合，将相邻并且数据属性属于同一类的数据进行合并处理，得到整合数据；
30.数据存储单元，用于每个节点服务器将整合数据传输至云存储，并将所述整合数据作为目标数据存储至云存储中。
31.可选地，所述基于云原生分布式应用监控装置还包括：
32.查询条件获取模块，用于获取每个预设的页面查询条件；
33.数据压缩模块，用于基于所述预设的页面查询条件，对所述目标数据进行压缩，得到分类数据集合；
34.数据解析模块，用于在接收到查询指令后，对所述查询指令进行解析，得到所述查询指令包含的目标查询条件；
35.数据查询模块，用于从所述分类数据集合中，获取与所述目标查询条件对应的分类数据，作为查询结果，并显示所述查询结果。
36.可选地，所述基于云原生分布式应用监控装置还包括：
37.规则写入模块，用于通过配置页面针对每个集群设置告警规则和告警发送人配置，并将告警规则写入主集群的监控规则；
38.告警查询模块，用于在接收到告警查询信息时，基于主集群的监控查询组件查询告警信息。
39.为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于云原生分布式应用监控方法的步骤。
40.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于云原生分布式应用监控方法的步骤。
41.本发明实施例提供的基于云原生分布式应用监控方法、装置、计算机设备及存储介质，通过本实施例中，配置caas化的容器监控服务，基于容器监控服务进行应用数据的采集，得到初始数据，将初始数据进行压缩传输至云存储，作为目标数据，并对目标数据进行存储，对存储的目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理，两层告警包括业务告警和系统告警，提高数据采集监控效率和预警的及时性。
附图说明
42.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1是本技术可以应用于其中的示例性系统架构图；
44.图2是本技术的基于云原生分布式应用监控方法的一个实施例的流程图；
45.图3是根据本技术的基于云原生分布式应用监控装置的一个实施例的结构示意图；
46.图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
47.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
48.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
51.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发
送消息等。
52.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture e界面显示perts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture e界面显示perts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
53.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
54.需要说明的是，本技术实施例所提供的基于云原生分布式应用监控方法由服务器执行，相应地，基于云原生分布式应用监控装置设置于服务器中。
55.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本技术实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
56.请参阅图2，图2示出本发明实施例提供的一种基于云原生分布式应用监控方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
57.s201：配置caas化的容器监控服务。
58.可选地，配置caas化的容器监控服务包括：监控数据的类型配置、系统组件监控配置和业务监控配置。
59.本实施例采用receiver方式，各个子集群prometheus主动上报到主集群的receiver。receiver配置为集群模式，通过router暴露服务。在prometheus中配置remote write，将数据写入到receiver中。
60.其中，prometheus是一个开源的服务监控系统和时间序列数据库。其拥有高维度数据模型、自定义查询语言、可视化数据展示和高效的存储策略，易于运维，prometheus的查询语言可以通过度量指标和标签对时序数据进行过滤和聚合。
61.具体地，caas化的容器监控服务需要考虑如下：a)监控的数据类型、b)系统组件监控配置和c)业务监控配置。
62.关于a)，监控的数据类型，本实施例主要包括：(exporter等暴露的)原始监控指标数据(sidecar/caasmonitor receiver)、压缩的监控指标数据和根据“记录规则”生成的监控指标数据。
63.其中，本实施例针对触发告警的历史事件，采用告警规则进行指标分析，得到影响告警的一些新指标，这些新指标即为根据“记录规则”生成的监控指标数据。
64.进一步地，通过prometheus external_labels，为各个集群设置自己的标识，并作为合并指标的依据。
65.关于b)系统组件监控配置，通过ocp内置的node-exporter、cadvisor等，已暴露系统组件、容器相关指标，供prometheus收集。
66.关于c)业务监控配置，如果是集群内服务，可直接通过servicemonitor配置其监控；如果是集群外的应用，可通过添加endpoints和service，再通过servicemonitor添加监控。
67.优选地，针对业务应用提供的指标数据，按照符合预设数据格式进行检查/转化。
68.s202：基于容器监控服务进行应用数据的采集，得到初始数据。
69.s203：将初始数据进行压缩传输至云存储，作为目标数据，并对目标数据进行存储。
70.具体地，通过各种方式采集的数据较多，海量数据进行传输较为消耗带宽，同时传输效率也较慢，在进行存储时，也将占用较多存储空间，因而，本实施例在进行数据传输的过程中，通过预设时间间隔，对数据进行压缩和下采样，再进行传输，有效提高数据传输效率，减少存储占用空间。
71.可选地，预设时间间隔可以为一个，也可以为多个，例如，每隔5分钟，对5分钟内的数据进行压缩，同时，每隔1小时，对1小时内的数据进行压缩，具体的时间间隔可以根据实际需求进行设定，此处不作限制。
72.在一具体可选实施方式中，，将初始数据进行压缩传输至云存储，作为目标数据包括：
73.将每个时间段的初始数据，按照预设规则，分配到不同节点服务器；
74.每个节点服务器通过多线程的方式，对初始数据进行数据解析与整合，将相邻并且数据属性属于同一类的数据进行合并处理，得到整合数据；
75.每个节点服务器将整合数据传输至云存储，并将整合数据作为目标数据存储至云存储中。
76.在一具体可选实施方式中，在将初始数据进行压缩传输至云存储，作为目标数据，并对目标数据进行存储之后，方法包括：
77.获取每个预设的页面查询条件；
78.基于预设的页面查询条件，对目标数据进行压缩，得到分类数据集合；
79.在接收到查询指令后，对查询指令进行解析，得到查询指令包含的目标查询条件；
80.从分类数据集合中，获取与目标查询条件对应的分类数据，作为查询结果，并显示查询结果。
81.其中，预设的页面查询条件具体可以是查询时间为主要维度，例如“近三天”、“近十天”、“近一个月”、“近三个月”等。
82.其中，对所述目标数据进行压缩，得到分类数据集合，是指根据预设的页面查询条件对数据进行合并优化，例如，预设的页面查询条件为“近10天”，则采集第11天之前到昨天的所有数据，将每天数据按时间段进行合并压缩处理，大幅度减少数据量，提高数据查询时数据的可阅读性和查询的效率。
83.s204：对存储的目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理，两层告警包括业务告警和系统告警。
84.考虑告警的及时性和高可用性，可按需，在容器集群中，通过统一管理平台添加alertmanager组件，并通过统一的告警配置进行配置，但集群单独发送告警。
85.可选地，本实施例可采用可视化的方式，对监控结果进行显示，具体显示方式，以预先配置的参数为准，例如，折线图/柱状图、饼图等。
86.可选地，本实施例中的告警规则根据需要，在rules中添加对应配置，同时，也可通过系统告警规则配置和业务告警规则配置的方式进行添加。
87.其中，系统告警规则配置是指通过集群控制台进行配置告警规则。
88.在一具体可选实施方式中，在对存储的目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理之前，该方法还包括：
89.通过配置页面针对每个集群设置告警规则和告警发送人配置，并将告警规则写入主集群的监控规则；
90.在接收到告警查询信息时，基于主集群的监控查询组件查询告警信息。
91.本实施例中，配置caas化的容器监控服务，基于容器监控服务进行应用数据的采集，得到初始数据，将初始数据进行压缩传输至云存储，作为目标数据，并对目标数据进行存储，对存储的目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理，两层告警包括业务告警和系统告警，提高数据采集监控效率和预警的及时性。
92.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
93.图3示出与上述实施例基于云原生分布式应用监控方法一一对应的基于云原生分布式应用监控装置的原理框图。如图3所示，该基于云原生分布式应用监控装置包括服务配置模块31、数据采集模块32、数据存储模块33和监控告警模块34。各功能模块详细说明如下：
94.服务配置模块31，用于配置caas化的容器监控服务；
95.数据采集模块32，用于基于容器监控服务进行应用数据的采集，得到初始数据；
96.数据存储模块33，用于将初始数据进行压缩传输至云存储，作为目标数据，并对目标数据进行存储；
97.监控告警模块34，用于对存储的目标数据进行监控，并在得到的监控结果为异常时，采用两层告警的方式进行预警处理，两层告警包括业务告警和系统告警。
98.可选地，数据存储模块33包括：
99.数据分配单元，用于将每个时间段的初始数据，按照预设规则，分配到不同节点服务器；
100.数据处理单元，用于每个节点服务器通过多线程的方式，对初始数据进行数据解析与整合，将相邻并且数据属性属于同一类的数据进行合并处理，得到整合数据；
101.数据存储单元，用于每个节点服务器将整合数据传输至云存储，并将整合数据作为目标数据存储至云存储中。
102.可选地，基于云原生分布式应用监控装置还包括：
103.查询条件获取模块，用于获取每个预设的页面查询条件；
104.数据压缩模块，用于基于预设的页面查询条件，对目标数据进行压缩，得到分类数据集合；
105.数据解析模块，用于在接收到查询指令后，对查询指令进行解析，得到查询指令包含的目标查询条件；
106.数据查询模块，用于从分类数据集合中，获取与目标查询条件对应的分类数据，作为查询结果，并显示查询结果。
107.可选地，基于云原生分布式应用监控装置还包括：
108.规则写入模块，用于通过配置页面针对每个集群设置告警规则和告警发送人配
置，并将告警规则写入主集群的监控规则；
109.告警查询模块，用于在接收到告警查询信息时，基于主集群的监控查询组件查询告警信息。
110.关于基于云原生分布式应用监控装置的具体限定可以参见上文中对于基于云原生分布式应用监控方法的限定，在此不再赘述。上述基于云原生分布式应用监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
111.为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
112.所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
113.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
114.所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或d界面显示存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
115.所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
116.所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
117.本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机
可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于云原生分布式应用监控方法的步骤。
118.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
119.显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。