IT系统监控指标压缩与查询方法、装置及存储介质与流程

it系统监控指标压缩与查询方法、装置及存储介质
技术领域
1.本发明涉及监控指标压缩领域，尤其涉及一种it系统监控指标压缩与查询方法、装置及存储介质。


背景技术：

2.目前it系统的监控指标通常使用各种监控程序进行收集处理后存放到时序数据库中保存，例如influxdb、opentsdb等，用户查询时通过输入时间范围等条件，从时序数据库中检索并返回结果；当监控指标类型多(超过1000种)且指标属性数量庞大(超过100万)时，即使开启了时序数据库的压缩功能，存储空间消耗也会很大，且查询效率会随着数据量的增加而急剧下降。
3.申请号为201811384936.3的专利通过将一个时间点的多指标时序数据，使用同一时间实现多指标数据块的聚合，从而减少多个时间存储消耗；以字节流方式进行数据压缩，避免指标类型的限制导致压缩算法的首先，同时，对于位存储的指标数据聚合也能有效减少指标数据的存储消耗，提高了时序数据的压缩处理效率，时序压缩比及存储效率，但该专利是以时间点为依据，以字节流方式进行数据压缩，并未有很好的压缩率，并且在检索以及查询时效率低。


技术实现要素：

4.有鉴于此，本技术实施例提供一种it系统监控指标压缩与查询方法、装置及存储介质，解决it系统监控指标处理时压缩率不良、存储空间消耗大、查询效率低的问题。
5.本技术实施例提供一种it系统监控指标压缩方法，所述方法包括：
6.获取it系统的监控指标；
7.将所述监控指标按照预设格式进行格式化操作；
8.在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果。
9.可选地，所述在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果的步骤包括：
10.获取预设时间粒度内所述格式化操作后的监控指标；
11.若所述监控指标采集频率固定，则将预设时间粒度内所述格式化操作后的监控指标对应的指标值合并为指标值数组，获得所述it系统监控指标压缩结果。
12.可选地，所述获取预设时间粒度内所述格式化操作后的监控指标的步骤之后包括：
13.若所述监控指标采集频率不固定，则将预设时间粒度内所述格式化操作后的监控指标对应的指标值，与所述监控指标的采集时间合并为指标值数组，获得所述it系统监控指标压缩结果。
14.可选地，所述在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系
统监控指标压缩结果的步骤，还包括：
15.获取预设时间粒度内所述格式化操作后的监控指标；
16.将预设时间粒度内所述格式化操作后的监控指标的多个属性合并为属性数组，获得所述it系统监控指标压缩结果。
17.可选地，所述获取it系统的监控指标的步骤包括：
18.按照预设采集频率对所述it系统的监控指标进行采集；其中固定采集频率为定时轮询的采集方式。
19.为实现上述目的，还提供一种it系统监控指标查询方法，所述方法，包括：
20.获取用户查询的时间范围；
21.按照预设时间粒度，将所述用户查询的时间范围进行分解处理；
22.将分解处理后的所述用户查询的时间范围作为查询条件，在it系统监控指标压缩结果中进行遍历查询；
23.将查询结果返回给用户。
24.可选地，所述将查询结果返回给用户的步骤包括：
25.将查询结果按照预设格式进行还原以及拼装；
26.将还原以及拼装后的结果作为查询结果返回给所述用户。
27.为实现上述目的，还提供一种it系统监控指标压缩装置，所述压缩装置包括：
28.监控指标获取模块，用于获取it系统的监控指标；
29.压缩处理模块，用于将所述监控指标按照预设格式进行格式化操作；在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果。
30.为实现上述目的，还提供一种it系统监控指标查询装置，所述查询装置包括：
31.查询模块，用于获取用户查询的时间范围；按照预设时间粒度，将所述用户查询的时间范围进行分解处理；将分解处理后的所述用户查询的时间范围作为查询条件，在it系统监控指标压缩结果中进行遍历查询；将查询结果返回给用户。
32.为实现上述目的，一种计算机存储介质，所述计算机存储介质上存储有it系统监控指标压缩方法程序，所述it系统监控指标压缩方法程序被处理器执行时实现上述任一所述的it系统监控指标压缩方法的步骤或者所述计算机存储介质上存储有it系统监控指标查询方法程序，所述it系统监控指标查询方法程序被处理器执行时实现上述任一所述的it系统监控指标查询方法的步骤。
33.本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：所述压缩方法中，获取it系统的监控指标；将所述监控指标按照预设格式进行格式化操作；通过将监控指标进行格式化操作，有利于后续的降维压缩。在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果。通过对格式化操作后的监控指标进行压缩，降低压缩率，极大的节约存储空间。
34.所述查询方法中，获取用户查询的时间范围；按照预设时间粒度，将用户查询的时间范围进行分解处理；通过将用户查询的时间范围按照预设时间粒度分解，使查询结果更加的准确以及快捷。
35.将分解后的用户查询的时间范围作为查询条件，在it系统监控指标压缩结果中进行遍历查询；将查询结果返回给用户。通过在降维压缩的it系统监控指标压缩结果中进行
查询，有效提升查询效率。
附图说明
36.图1为本技术it系统监控指标压缩方法的第一实施例的流程示意图；
37.图2为本技术it系统监控指标压缩方法第一实施例中步骤s130的具体实施步骤的流程示意图；
38.图3为本技术it系统监控指标压缩方法第一实施例中步骤s130的另一具体实施步骤的流程示意图；
39.图4为本技术it系统监控指标查询方法的第一实施例的流程示意图；
40.图5为本技术it系统监控指标查询方法第一实施例中步骤s240的具体实施步骤的流程示意图；
41.图6为本技术it系统监控指标压缩装置的示意图；
42.图7为本技术it系统监控指标查询装置的示意图；
43.图8为本技术it系统监控指标压缩与查询系统的流程示意图。
具体实施方式
44.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
45.本发明实施例的主要解决方案是：所述压缩方法包括以下步骤：获取it系统的监控指标；将监控指标按照预设格式进行格式化操作；在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果；所述查询方法包括以下步骤：获取用户查询的时间范围；按照预设时间粒度，将用户查询的时间范围进行分解处理；将分解后的用户查询的时间范围作为查询条件，在it系统监控指标压缩结果中进行遍历查询；将查询结果返回给用户。本发明解决处理海量it系统监控指标时压缩率不良、存储空间消耗大、查询效率低的问题，能够降低it系统海量监控指标的压缩率，极大的节约存储空间，并且有效提升查询效率。
46.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
47.参照图1，图1为本技术it系统监控指标压缩方法的第一实施例，所述方法包括：
48.步骤s110：获取it系统的监控指标。
49.具体地，it系统的监控指标包括以下至少之一：系统指标、网络指标、磁盘指标、容器指标以及硬件指标。
50.步骤s120：将所述监控指标按照预设格式进行格式化操作。
51.具体地，可以将监控指标按照{时间戳指标名指标属性指标值}的格式进行格式化操作。其中，监控指标的时间戳、指标名、指标属性以及指标值的顺序并不作限定；同时监控指标包含的指标属性在此也并不作限定，可以根据当前it系统的监控指标包含的内容进行适应性调整。
52.步骤s130：在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果。
53.具体地，在本实施例中，预设时间粒度可以是一分钟，即将获取的一分钟内的格式
化操作后的监控指标进行压缩；在此，预设时间粒度并不限定，可以根据业务需求进行设定，预设时间粒度越大，压缩率越高，所以可以根据对压缩率的要求对应调整预设时间粒度的值。
54.在本实施例中，获取it系统的监控指标；将所述监控指标按照预设格式进行格式化操作；通过将监控指标进行格式化操作，有利于后续的降维压缩。在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果。通过对格式化操作后的监控指标进行压缩，有效降低压缩率，极大的节约存储空间。
55.参照图2，图2为本技术it系统监控指标压缩方法第一实施例中步骤s130的具体实施步骤，所述在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果的步骤包括：
56.步骤s131：获取预设时间粒度内所述格式化操作后的监控指标。
57.具体地，可以获取按照{时间戳指标名指标属性指标值}的预设格式进行格式化后的监控指标。
58.步骤s132：若所述监控指标采集频率固定，则将预设时间粒度内所述格式化操作后的监控指标对应的指标值合并为指标值数组，获得所述it系统监控指标压缩结果。
59.具体地，若监控指标按照固定的采集频率进行采集，比如可以按照每1秒采集一次，也可以按照每2秒采集一次，在此并不作限定。
60.将预设时间粒度内格式化操作后的监控指标对应的指标值合并为指标值数组可以是将预设时间粒度内格式化操作后的监控指标以指标值进行合并。
61.在本实施例中，监控指标压缩后的记录格式为：
62.{时间范围指标名1指标属性1[指标值1
…
指标值n]}，其中[指标值1
…
指标值n]称为指标值数组。
[0063]
本实施例中，时间戳可以按照预设时间粒度进行聚合，所以指标值可以以数组字符串的形式保存在指标值字段中，本实施例中监控指标在数据库中的记录如下：
[0064]
时间范围1指标名1指标属性1[指标值1
…
指标值n]；
[0065]
时间范围2指标名2指标属性2[指标值1
…
指标值n]；
[0066]
…
[0067]
时间范围t指标名m指标属性n[指标值1
…
指标值n]；
[0068]
在一具体实施例中，假设每秒钟一个采样点，预设时间粒度可以按分钟进行聚合，即指标值数组内有60个指标值，指标值数组的下标是当前分钟的秒数，举例表示如下：
[0069]
例子1：2021
‑
01
‑
01t00:01指标名1指标属性1[10,0,0,0,0,0
…
0](共60个)；可以看出，指标数组中的值记录了2021
‑
01
‑
01 00:01:00指标名1属性属性1的值是10，2021
‑
01
‑
01 00:01其它秒数的值为0。指标值数组在初始化时使用0值进行占位。
[0070]
步骤s133：若所述监控指标采集频率不固定，则将预设时间粒度内所述格式化操作后的监控指标对应的指标值，与所述监控指标的采集时间合并为指标值数组，获得所述it系统监控指标压缩结果。
[0071]
具体地，若所述监控指标采集频率不固定，也可以是监控指标采集频率低的情况下，可以将预设时间粒度内格式化操作后的监控指标对应的指标值与所述监控指标的采集时间合并为指标值数组。
[0072]
具体地，本实施例的it系统的监控指标压缩方法可以将监控指标压缩率保持在10％以下，有效降低压缩率。
[0073]
在本实施例中，监控指标压缩后的记录格式为：
[0074]
{时间范围1指标名1指标属性1[(秒数1,指标值1)
…
(秒数n,指标值n)]}；其中，指标值数组加入监控指标的采集时间。
[0075]
利用该记录格式，可以将例子1中的监控指标记录为：
[0076]
例子2：2021
‑
01
‑
01t00:01指标1属性1[(0,10)](共1个)。
[0077]
在本实施例中，通过将预设时间粒度内格式化操作后的监控指标对应的指标值合并以及加入监控指标的采集时间，实现了监控指标的降维压缩，有效降低压缩率，极大的节约存储空间。
[0078]
参照图3，图3为本技术it系统监控指标压缩方法第一实施例中步骤s130的另一具体实施步骤，所述在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果的步骤，还包括：
[0079]
步骤s131’：获取预设时间粒度内所述格式化操作后的监控指标。
[0080]
具体地，步骤s131’的具体实施方式参照步骤s131的具体实施方式，在此并不赘述。
[0081]
步骤s132’：将预设时间粒度内所述格式化操作后的监控指标的多个属性合并为属性数组，获得所述it系统监控指标压缩结果。
[0082]
具体地，在本实施例中，可以将预设时间粒度内格式化操作后的监控指标的多个属性合并为属性数组，其中，监控指标压缩后的记录格式为：
[0083]
{时间范围1指标名1{指标属性1：[指标值1]，指标属性2：[指标值2]，
…
}}
[0084]
利用该记录格式，可以将例子1中的监控指标记录为：
[0085]
例子3：2021
‑
01
‑
01t00:01指标1{属性1:[(0,10)],属性2:[]}(共1个)。
[0086]
在本实施例中，利用属性合并的压缩方法，进一步提高监控指标的压缩率，减少监控指标的内存占用空间。
[0087]
在一实施例中，所述获取it系统的监控指标的步骤包括：
[0088]
按照预设采集频率对所述it系统的监控指标进行采集；其中固定采集频率为定时轮询的采集方式。
[0089]
具体地，预设采集频率可以是每1秒为一采集点，也可以是其他的频率，在此并不作限定。其中，预设采集频率也可以是不固定的，可能受到网络的影响采集频率导致采集频率不固定。其中，定时轮询的方法是定时发出询问请求，即定时进行监控指标的采集。
[0090]
参照图4，图4为本技术it系统监控指标查询方法的第一实施例，所述方法，包括：
[0091]
步骤s210：获取用户查询的时间范围。
[0092]
具体地，可以获取用户查询指令，将用户查询指令进行解析，获取用户查询指令中包含的用户需要查询的监控指标的时间范围。
[0093]
步骤s220：按照预设时间粒度，将所述用户查询的时间范围进行分解处理。
[0094]
具体地，本实施例中的预设时间粒度与it系统监控指标压缩方法中的预设时间粒度需保持一致。例如，预设时间粒度为一分钟，而用户查询的时间范围为17点43分至17点48分，则将用户查询的时间范围分解成5个子查询，每个子查询的时间粒度为一分钟。
[0095]
步骤s230：将分解处理后的所述用户查询的时间范围作为查询条件，在it系统监控指标压缩结果中进行遍历查询。
[0096]
具体地，将5个子查询作为查询条件，在it系统监控指标压缩结果中进行查询，因为每个子查询的时间粒度与it系统监控指标压缩结果中的时间粒度相同，则保证了查询结果的正确性。
[0097]
步骤s240：将查询结果返回给用户。
[0098]
在本实施例中，获取用户查询的时间范围；按照预设时间粒度，将用户查询的时间范围进行分解处理；通过将用户查询的时间范围按照预设时间粒度分解，使查询结果更加的准确以及快捷。
[0099]
将分解后的用户查询的时间范围作为查询条件，在it系统监控指标压缩结果中进行遍历查询；将查询结果返回给用户。通过在降维压缩的it系统监控指标压缩结果中进行查询，有效提升查询效率。
[0100]
参照图5，图5为本技术it系统监控指标查询方法第一实施例中步骤s240的具体实施步骤，所述将查询结果返回给用户的步骤包括：
[0101]
步骤s241：将查询结果按照预设格式进行还原以及拼装。
[0102]
具体地，将查询结果中的记录中，将指标值数组按照下标的顺序还原成为指标值，重新将时间戳、指标名以及指标属性进行拼接，获得的监控指标的格式恢复为监控指标格式化后的预设格式，与it系统监控指标压缩方法中的预设格式保持一致。
[0103]
步骤s242：将还原以及拼装后的结果作为查询结果返回给所述用户。
[0104]
在本实施例中，通过将查询结果进行还原，保证用户对于监控指标查询的正确性。
[0105]
本技术还提供一种it系统监控指标压缩装置20，所述压缩装置包括：
[0106]
监控指标获取模块21，用于获取it系统的监控指标；
[0107]
压缩处理模块22，用于将所述监控指标按照预设格式进行格式化操作；在预设时间粒度内，对格式化操作后的监控指标进行压缩，生成it系统监控指标压缩结果。
[0108]
图6所示it系统监控指标压缩装置包括监控指标获取模块21、压缩处理模块22，所述it系统监控指标压缩装置可以执行图1至图3所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图3所示实施例中的描述，在此不再赘述。
[0109]
本技术还提供一种it系统监控指标查询装置30，所述查询装置包括：
[0110]
查询模块31，用于获取用户查询的时间范围；按照预设时间粒度，将所述用户查询的时间范围进行分解处理；将分解处理后的所述用户查询的时间范围作为查询条件，在it系统监控指标压缩结果中进行遍历查询；将查询结果返回给用户。
[0111]
图7所示it系统监控指标查询装置包括监控指标查询模块31，所述it系统监控指标查询装置可以执行图4与图5所示实施例的方法，本实施例未详细描述的部分，可参考对图4与图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4以及图5所示实施例中的描述，在此不再赘述。
[0112]
在一具体实施例中，参照图8，图8为本技术it系统监控指标压缩与查询系统的流程示意图，具体的模块设计和压缩存储步骤如下：
[0113]
1、监控指标获取模块21通过定时轮询的方式采样获取it系统的监控指标，按照
{时间戳指标名指标属性指标值}的格式生成格式化的指标数据发送给压缩处理模块；
[0114]
2、压缩处理模块22实时接收监控指标数据，并暂时缓存到内存中，用户可以设置一定的时间间隔(预设时间粒度)，例如1分钟，压缩处理模块22将1分钟内的监控指标数据按下标存储到指标值数组中，当时间间隔达到，压缩处理模块22将指标值数组和指标名、指标属性等合并存储到数据库中，记为一条记录，数据库可以是任意的sql或nosql数据库，或者redis等缓存服务；
[0115]
3、查询模块31在线接收用户的查询请求，首先将用户查询的时间范围进行分解处理，分解成压缩处理模块22所记录的时间范围列表，将时间范围列表作为条件提交查询，得到用户查询时间范围的所有记录行，然后将记录行中指标数组的数据按照下标还原成指标值，重新拼装后返回给用户；如果查询的时间中包含当前未到写入数据库的时间，则同时向压缩处理模块22发送所需的时间范围，压缩处理模块22接收请求后将内存的相应时间段数据返回，查询模块31合并数据库和内存的数据后返回给用户。
[0116]
本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一所述的it系统监控指标压缩方法以及it系统监控指标查询方法的步骤。
[0117]
本技术还提供一种计算机存储介质，所述计算机存储介质上存储有it系统监控指标压缩方法程序，所述it系统监控指标压缩方法程序被处理器执行时实现上述任一所述的it系统监控指标压缩方法的步骤或者所述计算机存储介质上存储有it系统监控指标查询方法程序，所述it系统监控指标查询方法程序被处理器执行时实现上述任一所述的it系统监控指标查询方法的步骤。
[0118]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0119]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0120]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0121]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0122]
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0123]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0124]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。