一种智能告警方法、装置、设备及可读存储介质与流程

1.本技术涉及监控告警技术领域，特别是涉及一种智能告警方法、装置、设备及可读存储介质。


背景技术：

2.随着it网络基础建设维护和管理成本的与日俱增，面对随时可能发生的服务故障，运维监控系统已经逐渐覆盖各行各业。而运维监控系统告警数量的迅速增长，也给运维人员带来了极大的挑战，灵活的告警算法和合理的告警通知是it运维人员有效应对系统故障和业务异常的关键。
3.目前，大多数监控类软件/平台所采用的算法主要是阈值或基线算法，通过设定固定的上边界值和下边界值判断业务运行是否正常，一旦超过预设的阈值，则会立即产生告警。然而，这种算法依赖于运维人员的经验，系统风险很大；对于指标多样的业务，例如波动性较大的一些指标，例如业务请求数、平均响应时间等，阈值算法并不能很好的识别异常数据，也很容易出现误报。告警算法中如果规则单一、漏报误报率很高，则无法满足用户对告警准确性的要求。


技术实现要素：

4.本技术提供一种智能告警方法、装置、设备及可读存储介质，以解决现有的告警算法在进行告警时容易出现漏报误报，无法满足用户对告警准确性的要求的技术问题。
5.为了解决上述问题，本技术采用了以下的技术方案：
6.第一方面，本技术实施例提供了一种智能告警方法，所述方法包括：
7.获得多种具有不同属性的待检测数据集；
8.针对任意一种属性的所述待检测数据集，得到所述待检测数据集中每个检测点在预设拓扑距离内的密度和离散度；
9.确定所述待检测数据集中密度最大的检测点为中心点；并根据所述中心点的密度和离散度，确定密度阈值和离散度阈值；
10.在所述检测点的密度小于所述密度阈值，或所述检测点的离散度大于所述离散度阈值的情况下，确定所述检测点为异常点；
11.输出所述异常点对应的告警信息。
12.在本技术一实施例中，获得多种具有不同属性的待检测数据集，包括：
13.获取当前时刻之前预设时间段内的多种具有不同属性的横向待检测数据；
14.分别获取所述当前时刻对应的历史时刻的多种具有不同属性的纵向待检测数据；
15.根据所述横向待检测数据和所述纵向待检测数据，获得多种具有不同属性的待检测数据集。
16.在本技术一实施例中，针对任意一种属性的所述待检测数据集，得到所述待检测数据集中每个检测点在预设拓扑距离内的密度和离散度，包括：
17.在所述待检测数据集中，以目标检测点为中心，获取所述预设拓扑距离内的其他检测点的数量；其中，所述其他检测点为所述预设拓扑距离内除目标检测点外的检测点；
18.根据所述其他检测点的数量，确定所述目标检测点的密度；
19.分别计算所述其他检测点的密度；
20.根据密度大于所述目标检测点的密度的所述其他检测点到所述目标检测点的最短距离，确定所述目标检测点的离散度。
21.在本技术一实施例中，根据所述中心点的密度和离散度，确定密度阈值和离散度阈值，包括：
22.根据所述中心点的密度与预设告警密度精度的乘积，确定所述密度阈值；
23.根据所述中心点的离散度与预设告警离散度精度的乘积，确定所述离散度阈值。
24.在本技术一实施例中，输出所述异常点对应的告警信息，包括：
25.根据所述异常点的密度与所述密度阈值的大小关系，或所述异常点的离散度与所述离散度阈值的大小关系，确定所述异常点的告警等级；
26.根据所述异常点的告警等级，输出所述异常点对应的告警信息。
27.第二方面，基于相同发明构思，本技术实施例提供了一种智能告警装置，所述装置包括：
28.获得模块，用于获得多种具有不同属性的待检测数据集；
29.计算模块，用于针对任意一种属性的所述待检测数据集，得到所述待检测数据集中每个检测点在预设拓扑距离内的密度和离散度；
30.阈值确定模块，用于确定所述待检测数据集中密度最大的检测点为中心点；并根据所述中心点的密度和离散度，确定密度阈值和离散度阈值；
31.异常点确定模块，用于在所述检测点的密度小于所述密度阈值，或所述检测点的离散度大于所述离散度阈值的情况下，确定所述检测点为异常点；
32.告警输出模块，用于输出所述异常点对应的告警信息。
33.在本技术一实施例中，所述获得模块包括：
34.横向数据获得子模块，用于获取当前时刻之前预设时间段内的多种具有不同属性的横向待检测数据；
35.纵向数据获得子模块，用于分别获取所述当前时刻对应的历史时刻的多种具有不同属性的纵向待检测数据；
36.数据集获得子模块，用于根据所述横向待检测数据和所述纵向待检测数据，获得多种具有不同属性的待检测数据集。
37.在本技术一实施例中，所述计算模块包括：
38.数量获取子模块，用于在所述待检测数据集中，以目标检测点为中心，获取所述预设拓扑距离内的其他检测点的数量；其中，所述其他检测点为所述预设拓扑距离内除目标检测点外的检测点；
39.密度确认子模块，用于根据所述其他检测点的数量，确定所述目标检测点的密度；
40.计算子模块，用于分别计算所述其他检测点的密度；
41.离散度确认子模块，用于根据密度大于所述目标检测点的密度的所述其他检测点到所述目标检测点的最短距离，确定所述目标检测点的离散度。
42.在本技术一实施例中，所述阈值确定模块包括：
43.密度阈值确定子模块，用于根据所述中心点的密度与预设告警密度精度的乘积，确定所述密度阈值；
44.离散度阈值确定子模块，用于根据所述中心点的离散度与预设告警离散度精度的乘积，确定所述离散度阈值。
45.在本技术一实施例中，所述告警输出模块包括：
46.告警等级确认子模块，用于根据所述异常点的密度与所述密度阈值的大小关系，或所述异常点的离散度与所述离散度阈值的大小关系，确定所述异常点的告警等级；
47.告警输出子模块，用于根据所述异常点的告警等级，输出所述异常点对应的告警信息。
48.第三方面，基于相同发明构思，本技术实施例提供了一种电子设备，所述电子设备包括：
49.处理器；
50.用于存储处理器可执行指令的存储器；
51.其中，所述处理器被配置为执行如本技术第一方面提出的智能告警方法。
52.第四方面，基于相同发明构思，本技术实施例提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本技术第一方面提出的智能告警方法。
53.与现有技术相比，本技术包括以下优点：
54.本技术实施例提供的一种智能告警方法，针对任意一种属性的待检测数据集，通过实时计算待检测数据集中每个检测点的密度和离散度，再将密度最大的检测点为中心点，并根据中心点的密度和离散度，确定密度阈值和离散度阈值，最后将密度小于密度阈值，或离散度大于离散度阈值的检测点确定为异常点，并输出异常点对应的告警信息。本技术实施例通过计算待检测数据集中每个检测点的密度和离散度来判断该检测点是否正常，其中用于判断的密度阈值和离散度阈值均是由待检测数据集本身得到的，进而可以满足包括波动性较大数据在内的各种数据的异常检测需求，能够有效避免传统阈值或基线算法存在的漏报误报率很高的问题，算法灵活，适用性广，并有效提高异常检测的及时性和准确性。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1是本技术实施例中的一种智能告警方法的步骤流程图。
57.图2是本技术实施例中的一种智能告警装置的功能模块连接示意图。
58.附图标记：200-智能告警装置；201-获得模块；202-计算模块；203-阈值确定模块；204-异常点确定模块；205-告警输出模块。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.参照图1，示出了本技术一种智能告警方法，该方法可以包括以下步骤：
61.步骤s101：获得多种具有不同属性的待检测数据集。
62.本实施方式需要说明的是，在各种运维监控系统中产生的监控数据往往并不局限于一种属性的数据，如在证券交易场景，同时可能会产生包括交易量、交易金额、响应时间等多种属性的数据；又如在设备状态监测场景，同时可能会产生包括运行温度、振动频率、能源消耗量等多种属性的数据。
63.在本实施方式中，为提高数据检测的准确性，在考虑收集多种具有不同属性的数据同时，针对同一属性的数据集，将采用横向 纵向的数据采集策略，具体的，步骤s101可以包括以下子步骤：
64.子步骤s101-1：获取当前时刻之前预设时间段内的多种具有不同属性的横向待检测数据；
65.子步骤s101-2：分别获取当前时刻对应的历史时刻的多种具有不同属性的纵向待检测数据；
66.子步骤s101-3：根据横向待检测数据和纵向待检测数据，获得多种具有不同属性的待检测数据集。
67.在本实施方式中，针对某一属性的异常检测样本数据分为横向和纵向两组进行收集，进而构成一个具有同一属性的数据集，最后多干个具有不同属性的数据集进行分类整合，进而得到多种具有不同属性的待检测数据集。
68.在一个例子中，根据待检测数据集的特征，如针对交易量的检测，横向待检测数据可以取最近1分钟的数据，纵向待检测数据取最近30个工作日的数据。其中，对于横向待检测数据可以按照5s颗粒度进行展开，进而在横向获取12个检测点，纵向则对应获取30个检测点，最后获取由42个检测点构成的待检测数据集。
69.在本实施方式中，选择可自定义的横向和纵向两个维度的数据组成一个待检测数据集，通过调整两个方向的数据量占比可消除周期性数据的波动对检测结果的影响，进而提高数据检测的准确性。
70.步骤s102：针对任意一种属性的待检测数据集，得到待检测数据集中每个检测点在预设拓扑距离内的密度和离散度。
71.在本实施方式中，预设拓扑距离也即算法的边界值dc，预设拓扑距离可以根据待检测数据集的特征手动调试，也可以自动调试。其中，在自动调试时，预设拓扑距离dc可取待检测数据集中每相邻两个检测点之间的相邻距离中的最大值。
72.需要说明的是，检测点的密度指到该点的距离小于等于dc的检测点的数量；检测点的离散度指密度比该点大的点到其的最短距离，而当该点的密度是所有点中最大时，该点的离散度指所有点离其的最远距离。需要进一步说明的是，每个检测点的密度和离散度可以有效反应该检测点对应的数据是否异常，即密度越小，离散度越大，说明该点的数据越
偏离正常数据，在偏离到一定程度时，则可判定为异常数据。
73.具体地，步骤s102可以包括以下子步骤：
74.子步骤s102-1：在待检测数据集中，以目标检测点为中心，获取预设拓扑距离内的其他检测点的数量；其中，其他检测点为预设拓扑距离内除目标检测点外的检测点。
75.子步骤s102-2：根据其他检测点的数量，确定目标检测点的密度。
76.子步骤s102-3：分别计算其他检测点的密度。
77.子步骤s102-4：根据密度大于目标检测点的密度的其他检测点到目标检测点的最短距离，确定目标检测点的离散度。
78.在本实施方式中，每个检测点的密度、离散度的计算过程，可以看做是半径为dc的圆的圆心以待检测数据集的检测点为路径进行遍历的过程。
79.步骤s103：确定待检测数据集中密度最大的检测点为中心点；并根据中心点的密度和离散度，确定密度阈值和离散度阈值。
80.在本实施方式中，记中心点的密度值为p_center，中心点的离散度值为sigma_center，密度阈值为p_bound_base，离散度阈值sigma_bound_base，同时为保证密度阈值和离散度阈值的选取更为准确合理，还引入预设告警密度精度p_bound和预设告警离散度精度sigma_bound。
81.具体的，根据中心点的密度与预设告警密度精度的乘积，确定密度阈值，即密度阈值p_bound_base＝p_center*p_bound；根据中心点的离散度与预设告警离散度精度的乘积，确定离散度阈值，即离散度阈值sigma_bound_base＝sigma_center*sigma_bound。
82.步骤s104：在检测点的密度小于密度阈值，或检测点的离散度大于离散度阈值的情况下，确定检测点为异常点。
83.在本实施方式中，记检测点的密度为p_bound_value，检测点的离散度为sigma_bound_value，则当p_bound_value《p_bound_base或sigma_bound_value》sigma_bound_base时，则确定检测点为异常点。
84.步骤s105：输出异常点对应的告警信息。
85.在本实施方式中，告警信息可以但不限于包括告警类型、告警开始时间、告警持续时间、告警位置和触发告警的指标值中的一种或多种。
86.在一个例子中，以“浙商证券-a2顶点柜台”上产生的一个交易数据为例，在某一时刻，“某券商”在“a2顶点柜台”的交易量突破了触发告警的指标值，并产生了一个告警数据，该告警数据对应的告警等级为一级。
87.则在本实施方式中，可将该告警数据对应的告警通知通过邮件的方式发送给目标邮箱，并以列表的方式进行展示，以展示如下信息：告警开始时间：x年x月x日x时x分x秒；告警内容：交易量；告警位置：两融柜台；触发告警指标值：交易量＝89笔；告警级别：一级告警。
88.在本实施方式中，通过计算待检测数据集中每个检测点的密度和离散度来判断该检测点是否正常，其中用于判断的密度阈值和离散度阈值均是由待检测数据集本身得到的，进而可以满足包括波动性较大数据在内的各种数据的异常检测需求，能够有效避免传统阈值或基线算法存在的漏报误报率很高的问题，算法灵活，适用性广，并提高异常检测的及时性和准确性。
89.在一个可行的实施方式中，可将智能告警算法建模成智能告警模型，在该智能告警模型中，对于输入的任意一种属性的待检测数据集，模型会自动获取待检测数据集的预设拓扑距离dc、中心点的密度值p_center、中心点的离散度值sigma_center，以及手动设置的预设告警密度精度p_bound、预设告警离散度精度sigma_bound。
90.自动计算得到密度阈值p_bound_base＝p_center*p_bound；密度阈值p_bound_base＝p_center*p_bound。
91.然后根据检测点的密度p_bound_value与密度阈值p_bound_base的大小关系，或检测点的离散度sigma_bound_value与离散度阈值sigma_bound_base的大小关系，确定该检测点是否为异常点，以及对应的告警等级。
92.在本实施方式中，将告警等级分为五级，即根据告警严重程度从小到大依次分为一级报警等级、二级报警等级、三级报警等级、四级报警等级和五级报警等级，对应的报警条件具体如下所示：
93.一级报警条件：
94.p_bound_base*(1-20％)《p_bound_value《p_bound_base
95.(or)
96.sigma_bound_base《sigma_bound_value《sigma_bound_base
97.(1-sigma_bound_base)*20％；
98.二级报警条件：
99.p_bound_base(1-40％)《p_bound_value《p_bound_base(1-20％)
100.(or)
101.sigma_bound_base (1-sigma_bound_base)
102.*20％《sigma_bound_value《sigma_bound_base (1-sigma_bound_base)*40％；
103.三级报警条件：
104.p_bound_base(1-60％)《p_bound_value《p_bound_base(1-40％)
105.(or)
106.sigma_bound_base (1-sigma_bound_base)
107.*40％《sigma_bound_value《sigma_bound_base (1-sigma_bound_base)*60％；
108.四级报警条件：
109.p_bound_base(1-80％)《p_bound_value《p_bound_base(1-60％)
110.(or)
111.sigma_bound_base (1-sigma_bound_base)
112.*60％《sigma_bound_value《sigma_bound_base (1-sigma_bound_base)*80％；
113.五级报警条件：
114.p_bound_base(1-100％)《p_bound_value《p_bound_base(1-80％)
115.(or)
116.sigma_bound_base (1-sigma_bound_base)
117.*80％《sigma_bound_value《sigma_bound_base (1-sigma_bound_base)
118.*100％。
119.在本实施方式中，作为其中的一个优选方案，预设告警密度精度p_bound的取值可
以在0-20％之间，预设告警离散度精度sigma_bound可以在10％-40％之间。
120.具体地，预设告警密度精度和预设告警离散度精度可以在智能告警模型的训练阶段进行确定，智能告警模型的训练过程可以包括以下步骤：
121.步骤s301：获取任意一种属性的历史数据集，其中，历史数据集包括异常数据。
122.步骤s302：将预设告警密度精度和预设告警离散度精度输入智能告警模型。
123.步骤s303：将历史数据集输入智能告警模型，并判断智能告警模型能否检测出异常数据。
124.步骤s304：若能，则结束训练，并固定预设告警密度精度和预设告警离散度精度。
125.步骤s305：若不能，则调整预设告警密度精度和预设告警离散度精度，直到能够检测出异常数据。
126.在本实施方式中，仅需通过若干次简单的模拟训练后，便可确定合适的参数，使智能告警模型生效。
127.在本实施方式中，异常点的密度和离散度可以有效反应该对应的数据相对于正常数据的偏离程度，即密度越小，离散度越大，说明该点偏离正常数据就越多，对应的告警等级就越高。对应的在输出告警信息的阶段，可根据异常点的告警等级，输出异常点对应的告警信息。
128.在本实施方式中，为便于运维人员分析，在输出异常点对应的告警信息时，还可以将相关信息一同输出，其中，相关信息可以包括基准峰值、基准均值和基线值。需要说明的是，基准峰值指过去n天同一时刻的数据，找出一个最高值，跟其它天同一时刻的最高值连成的一条曲线；基准均值指把过去n天同一时间的数据，平均一个平均值，跟其它时间的平均值连成的一条曲线；基线值指把过去n天同一时间的数据，进行回归预测，计算出第n 1天的同一时刻的预测值。
129.在本实施方式中，当发生告警时，通过将告警信息和相关信息同时发送，可以帮助银行、证券、政府等行业的数据中心的运维人员能够快速、及时准确地收到告警情况，从而能够快速定位故障原因，降低运维成本。
130.第二方面，基于相同发明构思，本技术实施例提供了一种智能告警装置200，装置包括：
131.获得模块201，用于获得多种具有不同属性的待检测数据集。
132.计算模块202，用于针对任意一种属性的待检测数据集，得到待检测数据集中每个检测点在预设拓扑距离内的密度和离散度。
133.阈值确定模块203，用于确定待检测数据集中密度最大的检测点为中心点；并根据中心点的密度和离散度，确定密度阈值和离散度阈值。
134.异常点确定模块204，用于在检测点的密度小于密度阈值，或检测点的离散度大于离散度阈值的情况下，确定检测点为异常点。
135.告警输出模块205，用于输出异常点对应的告警信息。
136.在本技术一实施例中，获得模块201包括：
137.横向数据获得子模块，用于获取当前时刻之前预设时间段内的多种具有不同属性的横向待检测数据。
138.纵向数据获得子模块，用于分别获取当前时刻对应的历史时刻的多种具有不同属
性的纵向待检测数据。
139.数据集获得子模块，用于根据横向待检测数据和纵向待检测数据，获得多种具有不同属性的待检测数据集。
140.在本技术一实施例中，计算模块202包括：
141.数量获取子模块，用于在待检测数据集中，以目标检测点为中心，获取预设拓扑距离内的其他检测点的数量；其中，其他检测点为预设拓扑距离内除目标检测点外的检测点。
142.密度确认子模块，用于根据其他检测点的数量，确定目标检测点的密度。
143.计算子模块，用于分别计算其他检测点的密度。
144.离散度确认子模块，用于根据密度大于目标检测点的密度的其他检测点到目标检测点的最短距离，确定目标检测点的离散度。
145.在本技术一实施例中，阈值确定模块203包括：
146.密度阈值确定子模块，用于根据中心点的密度与预设告警密度精度的乘积，确定密度阈值。
147.离散度阈值确定子模块，用于根据中心点的离散度与预设告警离散度精度的乘积，确定离散度阈值。
148.在本技术一实施例中，告警输出模块205包括：
149.告警等级确认子模块，用于根据异常点的密度与密度阈值的大小关系，或异常点的离散度与离散度阈值的大小关系，确定异常点的告警等级。
150.告警输出子模块，用于根据异常点的告警等级，输出异常点对应的告警信息。
151.需要说明的是，本技术实施例的智能告警装置的具体实施方式参照前述本技术实施例第一方面提出的智能告警方法的具体实施方式，在此不再赘述。
152.第三方面，基于相同发明构思，本技术实施例提供了一种电子设备，电子设备包括：
153.处理器；
154.用于存储处理器可执行指令的存储。
155.其中，处理器被配置为执行如本技术第一方面提出的智能告警方法。
156.需要说明的是，本技术实施例的电子设备的具体实施方式参照前述本技术实施例第一方面提出的智能告警方法的具体实施方式，在此不再赘述。
157.第四方面，基于相同发明构思，本技术实施例提供了一种计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本技术第一方面提出的智能告警方法。
158.需要说明的是，本技术实施例的计算机可读存储介质的具体实施方式参照前述本技术实施例第一方面提出的智能告警方法的具体实施方式，在此不再赘述。
159.本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
160.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序
产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
161.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
162.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
163.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
164.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
165.以上对本发明所提供的一种智能告警方法、装置、设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。