问题数据的告警方法及装置、电子设备、存储介质与流程

1.本技术涉及数据监测技术领域，特别涉及一种问题数据的告警方法及装置、电子设备、存储介质。


背景技术：

2.对于具有较大请求量的分布式服务端系统，在保证设备正常、网络通信通畅等之外，保证数据的正确性也至关重要，所以需要及时发现问题数据并进行告警，以能及时对问题数据进行处理。
3.现有主要是基于服务端的日志，从一段时间内的服务端的日志中确定出由数据问题造成的异常情况，并计算错误率，当错误率较大时进行告警。
4.但是由于分布式服务端系统的机器较大，因此收集日志比较困难，并且由于访问基础太大，所以错误率普遍处于较低的状态，使得有些错误问题无法反映出来。并且，数据在服务端可能未体现出问题，但是下发到客户端，客户端是否能正常解析，并进行正常展示等，服务端并无法知道，因此现有的方式并不能准确且及时地发现问题数据并进行告警。


技术实现要素：

5.基于上述现有技术的不足，本技术提供了一种问题数据的告警方法及装置、电子设备、存储介质，以解决现有技术无法有效地准确且及时发现问题数据并进行告警的问题。
6.为了实现上述目的，本技术提供了以下技术方案：
7.本技术第一方面提供了一种问题数据的告警方法，包括：
8.获取客户端上报的对业务数据的处理结果信息；其中，所述业务数据指代服务器根据所述客户端的请求反馈的数据；
9.从所述处理结果信息中筛选出各个预设维度下的数据；
10.分别对每个所述预设维度下的数据进行处理，得到每个所述预设维度对应的指标值；
11.分别将各个所述指标值与对应的预设阈值进行对比；
12.若存在任意一个所述指标值大于对应的预设阈值时，则根据预设策略生成并发送告警信息。
13.可选地，在上述的问题数据的告警方法中，所述从所述处理结果信息中筛选出各个预设维度下的数据之前，还包括：
14.将所述处理结果信息发送到消息队列中；
15.将所述消息队列中所述处理结果信息接入计算引擎中；
16.通过所述计算引擎的map算子，对所述处理结果信息进行解析；
17.通过所述计算引擎的过滤器算子，过滤掉解析后的所述处理结果信息中不满足预设需要条件的数据。
18.可选地，在上述的问题数据的告警方法中，所述分别对每个所述预设维度下的数
据进行处理，得到每个所述预设维度对应的指标值，包括：
19.通过计算引擎对处于当前的计算窗口内的每个所述预设维度下的数据进行聚合运算，得到每个所述预设维度对应的指标值。
20.可选地，在上述的问题数据的告警方法中，还包括：
21.当到达预设程序点时，将处于当前的所述预设程序点的数据存储到分布式数据库中；
22.在服务重启时，利用存储在所述分布式数据库的所述处于当前的所述预设程序点的数据进行重启。
23.可选地，在上述的问题数据的告警方法中，所述分别对每个所述预设维度下的数据进行处理，得到每个所述预设维度对应的指标值之后，还包括：
24.通过计算引擎的sink算子，将各个所述指标值插入数据库中；
25.其中，所述分别将各个所述指标值与对应的预设阈值进行对比，包括：
26.在所述计算引擎的sink算子运行时，将通过所述数据库进行反查，得到各个所述指标值，并将各个所述指标值与对应的预设阈值进行对比。
27.本技术第二方面提供了一种问题数据的告警装置，包括：
28.获取单元，用于获取客户端上报的对业务数据的处理结果信息；其中，所述业务数据指代服务器根据所述客户端的请求反馈的数据；
29.筛选单元，用于从所述处理结果信息中筛选出各个预设维度下的数据；
30.统计单元，用于分别对每个所述预设维度下的数据进行处理，得到每个所述预设维度对应的指标值；
31.对比单元，用于分别将各个所述指标值与对应的预设阈值进行对比；
32.告警单元，用于若存在任意一个所述指标值大于对应的预设阈值时，则根据预设策略生成并发送告警信息。
33.可选地，在上述的问题数据的告警装置中，还包括：
34.发送单元，用于将所述处理结果信息发送到消息队列中；
35.接入单元，用于将所述消息队列中所述处理结果信息接入计算引擎中；
36.解析单元，用于通过所述计算引擎的map算子，对所述处理结果信息进行解析；
37.过滤单元，用于通过所述计算引擎的过滤器算子，过滤掉解析后的所述处理结果信息中不满足预设需要条件的数据。
38.可选地，在上述的问题数据的告警装置中，所述统计单元，包括：
39.统计子单元，用于通过计算引擎对处于当前的计算窗口内的每个所述预设维度下的数据进行聚合运算，得到每个所述预设维度对应的指标值。
40.可选地，在上述的问题数据的告警装置中，还包括：
41.第一存储单元，用于当到达预设程序点时，将处于当前的所述预设程序点的数据存储到分布式数据库中；
42.重启单元，用于在服务重启时，利用存储在所述分布式数据库的所述处于当前的所述预设程序点的数据进行重启。
43.可选地，在上述的问题数据的告警装置中，还包括：
44.第二存储单元，用于通过计算引擎的sink算子，将各个所述指标值插入数据库中；
45.其中，所述对比单元，包括：
46.对比子单元，用于在所述计算引擎的sink算子运行时，将通过所述数据库进行反查，得到各个所述指标值，并将各个所述指标值与对应的预设阈值进行对比。
47.本技术第三方面提供了一种电子设备，包括：
48.存储器和处理器；
49.其中，所述存储器用于存储程序；
50.所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的问题数据的告警方法。
51.本技术第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的问题数据的告警方法。
52.本技术实施例提供的一种问题数据的告警方法，客户端在对服务器根据客户端的请求反馈的业务数据进行处理后，上报对业务数据的处理结果信息。然后从处理结果信息中筛选出各个预设维度下的数据，分别对每个预设维度下的数据进行处理，得到每个预设维度对应的指标值，并分别将各个指标值与对应的预设阈值进行对比，若存在任意一个指标值大于对应的预设阈值时，则根据预设策略生成并发送告警信息，实现了进行错误数据的告警。由于处理结果信息是客户端处理数据后上传的，所以可以有效反映出客户端是否能对数据进行处理，进而可以准确地反映出数据是否存在错误，并且客户端在数据处理后即上报处理结果信息，也能保证告警的时效性。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
54.图1为本技术实施例提供的一种数据处理系统的架构示意图；
55.图2为本技术另一实施例提供的一种问题数据的告警方法的流程图；
56.图3为本技术另一实施例提供的处理结果信息的预处理方法的流程图；
57.图4为本技术另一实施例提供的通过计算引擎进行数据处理的流程图；
58.图5为本技术另一实施例提供的一种问题数据的告警装置的结构示意图；
59.图6为本技术另一实施例提供的一种电子设备的结构示意图。
具体实施方式
60.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
61.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包
含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
62.本技术实施例提供了一种问题数据的告警方法，以解决现有技术无法有效地准确且及时发现问题数据并进行告警的问题。
63.为了实现本技术实施例提供的一种问题数据的告警方法，本技术实施例提供了一种数据处理系统，本技术实施例提供的一种问题数据的告警方法可应用与该系统中。如图1所示，本技术实施例提供的一种数据处理系统，包括：
64.业务服务器101、客户端102、数据收集服务器103。
65.其中，业务服务器101主要用于处理业务数据，并根据客户端102的请求，将客户端102请求的业务数据反馈给客户端102。
66.客户端102主要用于向业务服务器101发送业务数据的获取请求，并对业务服务器101反馈业务数据进行处理，并生成业务数据的处理结果信息，然后将业务数据集的处理结果信息上传至数据收集服务器103。
67.数据收集服务器103，主要用于收集客户端102上传的处理结果信息，并通过数据处理服务对处理结果信息进行处理，并最终生成并反馈告警信息。其中，如图1所示，数据处理服务具体可以包括数据清洗、数据统计、数据分析、以及策略应用。
68.可选地，告警信息的发送可以通过邮件服务和短信服务，以邮件和短信的方式发送告警信息。
69.基于上述的数据处理系统，本技术实施例提供了一种问题数据的告警方法，如图2所示，具体包括以下步骤：
70.s201、获取客户端上报的对业务数据的处理结果信息。
71.其中，业务数据指代服务器根据客户端的请求反馈的数据。
72.具体的，客户端发送请求到业务服务器，业务服务将请求的业务数据反馈给客户端。客户端接收到业务服务器返回的业务数据后，进行相应的数据处理和数据展示。在数据处理和展示的过程中，可以上报业务数据的处理结果信息。
73.可选地，客户端各个模块可以根据部码需求，规范各个模块的错误码，即规定在处理成功和处理识别后上报的不同数据。可选地，上报业务数据的处理结果信息可以采用异步的方式，从而避免对客户端的主要功能的影响。
74.其中，处理结果信息中可以包括对业务数据进行各项处理的处理结果，该处理结果可以用于指示是否成功进行处理，以及包括指示业务数据是否成功进行展示、业务数据的属性信息等。
75.可选地，在本技术另一实施例中，在执行步骤s201之后，在执行步骤s202之前，还可以先进一步对处理结果信息进行预处理。其中，如图3所示，对处理结果信息进行预处理的方法，包括：
76.s301、将处理结果信息发送到消息队列中。
77.具体的，将处理结果信息发送到消息队列中，为后续的数据处理提供可接入的消息。
78.s302、将消息队列中处理结果信息接入计算引擎中。
79.具体的，可以是利用计算引擎的source模块。进行处理结果消息的接收。
80.s303、通过计算引擎的map算子，对处理结果信息进行解析。
81.需要说明的是，处理结果信息通常以一定的数据结构的形式提供数据，所以需要对其进行解析，以提取出其中需要的数据。例如，当处理结果信息为键值对的数据格式时，对其进行解析，从而将一条数据拆分为键和值，并映射到对应的实体对象内。
82.s304、通过计算引擎的过滤器算子，过滤掉解析后的处理结果信息中不满足预设需要条件的数据。
83.可选地，在本技术实施例中，在对处理结果信息进行预处理过程中，还可以包括：
84.当到达预设程序点时，将处于当前的预设程序点的数据存储到分布式数据库中，并在服务重启时，利用存储在分布式数据库的所述处于当前的预设程序点的数据进行重启。
85.需要说明的是，在本技术实施例中设置了程序检查点。程序检查点的设置是为了让程序运行更加的稳定。
86.在程序运行过程中，由于机器故障、资源回收、网络通信不畅等原因导致程序退出。程序退出后我们需要能自动拉起程序，最重要的是拉起程序后能够按照出故障的时间点继续进行数据处理，保证程序不丢失，所以通过设置了程序的检查点，将程序检查点的数据存储到分布式数据库上，保证了检查点的数据不会因为单机故障而丢失，进而为服务重启继续按照重启时间的执行提供了保证。
87.s202、从处理结果信息中筛选出各个预设维度下的数据。
88.可选地，可以使用计算引起的reduce算子，抽取出各个预设维度下的数据。预设维度可以是指的是各项处理或者其他根据需求设定的维度，例如，数据展示下的数据，该数据用于数据是否成功展示等。
89.s203、分别对每个预设维度下的数据进行处理，得到每个预设维度对应的指标值。
90.其中，指标值可以是成功率、处理效率等，用于表征数据处理状况的指标值。
91.可选地，可以利用计算引擎的sum算子或者count算子对每个预设维度下的数据进行聚合统计，得到各个预设维度对应的指标值。
92.可选地，在本技术另一实施例中，步骤s203的一种实施方式，具体包括：
93.通过计算引擎对处于当前的计算窗口内的每个所述预设维度下的数据进行聚合运算，得到每个所述预设维度对应的指标值。
94.需要说明的是，在本技术实施例中，利用滑动窗口进行统计计算，即每次处理的数据在时间上不出现重合，所以上一次计算的数据不纳入到下次计算中，上一次的统计接口不对下次统计造成影响。
95.因此，计算窗口的设置决定了数据计算的粒度，同时也决定了报警的周期。例如，设置5分钟的计算窗口，那么计算的粒度就是5分钟，即将5分钟内的数据作为统一的一批数据进行处理。若指标值为成功次数和失败次数，那么就是计算出该5分钟内的成功次数和失败次数。
96.还需要说明的是，考虑到数据传输的延迟，本技术实施例中还利用了水位线的方式，允许数据有一定的延迟。例如，数据本应该在计算的时间点全部到达，但是由于网络的
原因，数据出现了延迟的情况，那这部分延迟的数据也需要进行酌情的处理。故通过设置水位线，对延迟不超过水位线的数据，即延迟不严重的数据依旧进行处理，但如果数据延迟太严重，已经超出了实时系统的实时功能，即影响到实时性，则对该部分数据进行丢弃，不纳入统计。
97.s204、分别将各个指标值与对应的预设阈值进行对比。
98.需要说明的是，预先设置好各项指标对应的预设阈值，在得到各个指标值后，将指标值与所述指标项对应的预设阈值进行对比。
99.可选地，在本技术另一实施例中，在执行步骤s203之后，还可以进一步包括：
100.通过计算引擎的sink算子，将各个指标值插入数据库中。
101.相应的，在本技术实施例中，步骤s204的一种具体实施方式，包括：
102.在计算引擎的sink算子运行时，将通过数据库进行反查，得到各个指标值，并将各个指标值与对应的预设阈值进行对比。
103.也就是说，在本技术实施例中不采用异步线程的方式，从数据库中获取数据并进行对比，而采用反查的方式进行指标值的获取。由于采用异步线程的方式，难以与主线程保持同步，若主线程计算得到的指标值还未存储至数据库中，而异步线程已经启动，那么将会查找不到该时间点的指标是，从而无法识别到该时间点是否存在故障。使用反查的方式，能保证在指标值写入到数据库后，立即接着反向进行指标值的查询，从而既能够保证查询到指标值，又能保证及时性。
104.s205、判断是否所有指标值均不大于对应的预设阈值。
105.其中，若存在任意一个指标值大于对应的预设阈值，则执行步骤s206。
106.s206、根据预设策略生成并发送告警信息。
107.可选地，可以对大于对应的预设阈值的指标值进行封装，得到告警信息。当然，告警信息中还可以包括当前时间点、各个预设维度下的数据、业务数据的属性信息等。
108.可选地，告警信息可以通过邮件或短信等方式向相关的人员进行发送。
109.可选地，为了能让用户更直观的观察各时间点的情况，可以将各预设维度对应的指标值进行报表展示。具体可以分别绘制每项指标的曲线图，并且还可以将预设阈值可绘制在图中，从而可以直观的查看到在哪个时间点超过了阈值。
110.所以综上所述，本技术实施例在通过计算引擎进行数据处理时，本技术实施例提供的方法的流程可以如图4所示。
111.本技术实施例提供的一种问题数据的告警方法，客户端在对服务器根据客户端的请求反馈的业务数据进行处理后，上报对业务数据的处理结果信息。然后从处理结果信息中筛选出各个预设维度下的数据，分别对每个预设维度下的数据进行处理，得到每个预设维度对应的指标值，并分别将各个指标值与对应的预设阈值进行对比，若存在任意一个指标值大于对应的预设阈值时，则根据预设策略生成并发送告警信息，实现了进行错误数据的告警。由于处理结果信息是客户端处理数据后上传的，所以可以有效反映出客户端是否能对数据进行处理，进而可以准确地反映出数据是否存在错误，并且客户端在数据处理后即上报处理结果信息，也能保证告警的时效性。
112.本技术另一实施例提供了一种问题数据的告警装置，如图5所示，包括以下单元：
113.获取单元501，用于获取客户端上报的对业务数据的处理结果信息。
114.其中，所述业务数据指代服务器根据所述客户端的请求反馈的数据。
115.筛选单元502，用于从所述处理结果信息中筛选出各个预设维度下的数据。
116.统计单元503，用于分别对每个所述预设维度下的数据进行处理，得到每个所述预设维度对应的指标值。
117.对比单元504，用于分别将各个所述指标值与对应的预设阈值进行对比。
118.告警单元505，用于若存在任意一个所述指标值大于对应的预设阈值时，则根据预设策略生成并发送告警信息。
119.可选地，在本技术另一实施例提供的一种问题数据的告警装置中，还可以进一步包括：
120.发送单元，用于将所述处理结果信息发送到消息队列中。
121.接入单元，用于将所述消息队列中所述处理结果信息接入计算引擎中。
122.解析单元，用于通过所述计算引擎的map算子，对所述处理结果信息进行解析。
123.过滤单元，用于通过所述计算引擎的过滤器算子，过滤掉解析后的所述处理结果信息中不满足预设需要条件的数据。
124.可选地，在本技术另一实施例提供的一种问题数据的告警装置中，统计单元，包括：
125.统计子单元，用于通过计算引擎对处于当前的计算窗口内的每个所述预设维度下的数据进行聚合运算，得到每个所述预设维度对应的指标值。
126.可选地，在本技术另一实施例提供的一种问题数据的告警装置中，还包括：
127.第一存储单元，用于当到达预设程序点时，将处于当前的所述预设程序点的数据存储到分布式数据库中；
128.重启单元，用于在服务重启时，利用存储在所述分布式数据库的所述处于当前的所述预设程序点的数据进行重启。
129.可选地，在本技术另一实施例提供的一种问题数据的告警装置中，还包括：
130.第二存储单元，用于通过计算引擎的sink算子，将各个所述指标值插入数据库中。
131.其中，本技术实施例中的对比单元，包括：
132.对比子单元，用于在所述计算引擎的sink算子运行时，将通过所述数据库进行反查，得到各个所述指标值，并将各个所述指标值与对应的预设阈值进行对比。
133.需要说明的是，本技术上述实施例提供的各个单元的具体可以是图1示出的数据收集服务器中的组成部分，并且各个单元的工作过程可相应地参考上述的方法实施例中的相应的步骤，此处不再赘述。
134.本技术实施例提供的一种问题数据的告警装置，客户端在对服务器根据客户端的请求反馈的业务数据进行处理后，上报对业务数据的处理结果信息，有获取单元进行接收。然后，筛选单元从处理结果信息中筛选出各个预设维度下的数据，统计单元分别对每个预设维度下的数据进行处理，得到每个预设维度对应的指标值，并由对比单元分别将各个指标值与对应的预设阈值进行对比，若存在任意一个指标值大于对应的预设阈值时，则告警单元根据预设策略生成并发送告警信息，实现了进行错误数据的告警。由于处理结果信息是客户端处理数据后上传的，所以可以有效反映出客户端是否能对数据进行处理，进而可以准确地反映出数据是否存在错误，并且客户端在数据处理后即上报处理结果信息，也能
保证告警的时效性。
135.本技术另一实施例提供了一种电子设备，如图6所示，包括：
136.存储器601和处理器602。
137.其中，存储器601用于存储程序。
138.处理器602用于执行存储器601存储的程序，并且该程序被执行时，具体用于实现如上述任意一个实施例提供的问题数据的告警方法。
139.本技术另一实施例提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一个实施例提供的问题数据的告警方法。
140.计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
141.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
142.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。