一种阈值动态计算方法、装置及计算机可读存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种阈值动态计算方法、装置及计算机可读存储介质。


背景技术：

2.随着网络技术的不断发展，设备运营商对设备的运行维护提出了更高的要求。在传统的设备维护模式中，运维人员主要关注的是设备的运行状态，而判断设备是否正常运行主要依赖于设备告警。
3.在实际的业务性能指标监控中，告警阈值的设定是性能指标监控的关键，如何设置合理的告警阈值直接决定设备监控效果。在相关技术中，通常依赖于人工配置越限告警的阈值，然而，随着业务、地域、季节等方面的变化，先前已经配置好的告警阈值就不再是合理的，需要人工根据业务经验不时调整告警阈值设置，具有学习成本、人工成本和一定的维护成本。另外不同运维人员根据业务情况配置的告警阈值具有一定的主观性，不同的运维人员配置的阈值通常会存在差别。由此可见，相关技术目前所提供的告警阈值设置方式会存在准确性低、工作量大的问题。


技术实现要素：

4.本技术实施例提供了一种阈值动态计算方法、装置及计算机可读存储介质，至少能够解决相关技术中采用人工方式设置告警阈值，所存在的准确性低、工作量大的问题。
5.本技术实施例第一方面提供了一种阈值动态计算方法，包括：
6.获取观测点在目标历史时段的原始测量数据序列；
7.根据所述原始测量数据序列计算移动平均数据序列；
8.基于所述原始测量数据序列以及所述移动平均数据序列，计算绝对误差平均值以及标准差；
9.结合所述绝对误差平均值以及所述标准差计算动态阈值；其中，所述动态阈值用于对所述观测点的实时测量数据进行比较分析。
10.本技术实施例第二方面提供了一种阈值动态计算装置，包括：
11.获取模块，用于获取观测点在目标历史时段的原始测量数据序列；
12.第一计算模块，用于根据所述原始测量数据序列计算移动平均数据序列；
13.第二计算模块，用于基于所述原始测量数据序列以及所述移动平均数据序列，计算绝对误差平均值以及标准差；
14.第三计算模块，用于结合所述绝对误差平均值以及所述标准差计算动态阈值；其中，所述动态阈值用于对所述观测点的实时测量数据进行比较分析。
15.本技术实施例第三方面提供了一种电子装置，包括：存储器、处理器及总线；总线用于实现存储器、处理器之间的连接通信；处理器用于执行存储在存储器上的计算机程序；处理器执行计算机程序时，实现上述本技术实施例第一方面提供的阈值动态计算方法中的
各步骤。
16.本技术实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本技术实施例第一方面提供的阈值动态计算方法中的各步骤。
17.由上可见，根据本技术方案所提供的阈值动态计算方法、装置及计算机可读存储介质，获取观测点在目标历史时段的原始测量数据序列；根据原始测量数据序列计算移动平均数据序列；基于原始测量数据序列以及移动平均数据序列，计算绝对误差平均值以及标准差；结合绝对误差平均值以及标准差计算动态阈值。通过本技术方案的实施，系统基于历史时段的测量数据自动计算动态阈值，准确性和稳定性更高，并有效降低了阈值设置的工作量。
附图说明
18.图1为本技术第一实施例提供的一种阈值动态计算方法的基础流程示意图；
19.图2为本技术第一实施例提供的一种原始测量数据的采样时间示意图；
20.图3为本技术第二实施例提供的一种阈值动态计算方法的细化流程示意图；
21.图4为本技术第三实施例提供的阈值动态计算装置的程序模块示意图；
22.图5为本技术第四实施例提供的电子装置的结构示意图。
具体实施方式
23.为使得本技术的发明目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而非全部实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.为了解决相关技术中采用人工方式设置告警阈值，所存在的准确性低、工作量大的问题，本技术第一实施例提供了一种阈值动态计算方法，如图1为本实施例提供的阈值动态计算方法的基础流程示意图，该阈值动态计算方法包括以下的步骤：
25.步骤101、获取观测点在目标历史时段的原始测量数据序列。
26.具体的，在本实施例中，动态阈值计算服务提供接口给告警配置的java服务调用，每当告警配置的java服务需要配置动态阈值时调用接口请求动态阈值计算服务计算动态阈值，也即触发执行上述步骤101。应当说明的是，在本实施例中，观测点也即设备节点，原始测量数据也即设备的性能指标监控数据，在历史时段的多个时间节点会相应获取到多个原始测量数据，由此组成原始测量数据序列。
27.应当说明的是，很多业务性能指标呈现出具有随时间周期动态变化的特征，若采用静态阈值计算方法则无法体现出动态变化，导致所计算的告警阈值的准确性较低。基于此，本实施例综合考量特定历史时段的所有测量数据来进行阈值的动态设定，可有效提升告警阈值计算的准确性。
28.在本实施例一种实施方式中，上述获取观测点在目标历史时段的原始测量数据序列的步骤之前，还包括：获取观测点的数据采集周期以及动态阈值计算频率；基于数据采集周期以及动态阈值计算频率，相应确定目标历史时段。
29.具体的，在实际应用中，观测点的数据采集行为和动态阈值更新需求有所不同，若采用固定的历史时段来获取基础数据，则无法适用于所有应用场景，导致部分情况下所计算的动态阈值的有效性并不佳，由此，本实施例参考数据采集周期以及动态阈值计算频率来灵活确定目标历史时段，以适应不同场景下的阈值动态计算需求。应当理解的是，本实施例的目标历史时段为0至24时之间的任意时段。
30.进一步地，在本实施例一种实施方式中，上述基于数据采集周期以及动态阈值计算频率，相应确定目标历史时段的步骤，包括：将动态阈值计算频率与预设频率阈值进行比较；当动态阈值计算频率小于或等于频率阈值时，将数据采集周期以及动态阈值计算频率输入至第一计算模型，相应确定目标历史时段；第一计算模型表示为：w＝60*f/t；当动态阈值计算频率大于频率阈值时，将数据采集周期以及频率阈值输入至第二计算模型，相应确定目标历史时段；第二计算模型表示为：w＝60*e/t；其中，w表示目标历史时段，f表示动态阈值计算频率，e表示频率阈值，t表示数据采集周期。
31.具体的，如图2所示为本实施例提供的一种原始测量数据的采样时间示意图，以当前时刻为基准，假设数据采集周期是5分钟，设定的动态阈值计算频率f(单位：小时)小于12个小时，则w＝60*f/5＝12f，否则，w＝60*12/5＝144。应当说明的是，本实施例针对动态阈值计算频率小于频率阈值的情况，其相应目标历史时段也即当前时刻往前w个小时的时间区间，而针对动态阈值计算频率大于频率阈值的情况，其相应目标历史时段可以由当前时刻之前的第一历史时段以及当前时刻之后的第二历史时段组成，也即以当前时刻为中间时刻的2w个小时的时间区间。
32.步骤102、根据原始测量数据序列计算移动平均数据序列。
33.具体的，本实施例的移动平均数据用于表征测量数据的平均趋势，在实际应用中，通过对原始测量数据序列进行移动平均处理，能够让数据变得更加平滑和平稳，以提高后续数据计算的准确性。
34.在本实施例一种实施方式中，上述根据原始测量数据序列计算移动平均数据序列的步骤，包括：将原始测量数据序列输入至第三计算模型，计算各时刻的测量数据相应的估计数据；第三计算模型表示为：y
t
＝αx
t
(1-α)y
t-1
，其中，y
t
为t时刻的估计数据，α为权重系数，x
t
表示t时刻的测量数据；通过所计算的所有估计数据，获取移动平均数据序列。
35.具体的，本实施例采用指数加权移动平均的方式来进行序列数据处理，指数加权移动平均，是对测量数据给予不同的权重系数，按不同的权重系数求得移动平均数据，并以最后的移动平均数据为基础，确定估计数据，应当说明的是，本实施例的权重系统越小，得到的估计数据就越平稳。采用指数加权移动平均方式，是出于数据采集周期内近期采集的测量数据对估计数据有较大影响，它更能反映近期变化的趋势。应当理解的是，指数加权移动平均法，是指各数据的加权系数随时间呈指数式递减，越靠近当前时刻的数据的加权系数就越大，另外，指数加权移动平均相对于传统的平均法来说，一是不需要保存过去所有的数值；二是计算量可以显著减小。
36.步骤103、基于原始测量数据序列以及移动平均数据序列，计算绝对误差平均值以及标准差。
37.在本实施例一种实施方式中，上述基于原始测量数据序列以及移动平均数据序列，计算绝对误差平均值以及标准差的步骤，包括：基于原始测量数据序列以及移动平均数
据序列，计算绝对误差；将绝对误差输入至第四计算模型，计算绝对误差平均值；将绝对误差以及绝对误差平均值输入至第五计算模型，计算标准差。
38.应当说明的是，本实施例的第四计算模型表示为：第五计算模型表示为：其中，表示绝对误差平均值，d
t
表示t时刻的绝对误差，n表示数据总数量，s表示标准差。
39.此外，本实施例的原始测量数据序列表示为x，移动平均数据序列表示为y，那么两者的绝对误差则表示为：d＝|x-y|。
40.步骤104、结合绝对误差平均值以及标准差计算动态阈值。
41.具体的，本实施例的动态阈值计算服务可以通过java服务提供的接口进行回调，将计算出的阈值传递给告警配置，该动态阈值用于对观测点的实时测量数据进行比较分析。
42.在本实施例一种实施方式中，上述结合绝对误差平均值以及标准差计算动态阈值的步骤，包括：结合绝对误差平均值以及标准差，计算一级上限阈值、二级上限阈值、一级下限阈值以及二级下限阈值；一级上限阈值表示为：二级上限阈值表示为：一级下限阈值表示为：二级下限阈值表示为：其中，max1表示一级上限阈值，max2表示二级上限阈值，min1表示一级下限阈值，min2表示二级下限阈值，表示绝对误差平均值，s表示标准差。
43.具体的，在实际应用中，通常所采用的方式是单级配置阈值的方式，也即仅设置分别设置有一个上限阈值以及一个下限阈值，若告警阈值设置较低，则无法监控业务质量变化，告警敏感度较低；若告警阈值设置较高，虽能相对提升业务质量监控的告警敏感度，但在业务闲时，特别是晚间，过高的告警阈值会触发大量误告警。基于此，本实施例采用分级阈值配置方式，针对上限阈值和下限阈值均配置有多个，一方面，可支持基于不同级别告警阈值分别进行异常告警，告警机制更为精细化，另一方面，可支持在不同场景下选择不同级别的告警阈值进行观测点监控，保证不同场景下的告警有效性。
44.进一步地，在本实施例一种实施方式中，上述结合绝对误差平均值以及标准差计算动态阈值的步骤之后，还包括：将动态阈值与原始阈值进行比较，确定阈值调整幅度；将阈值调整幅度与预设幅度阈值进行比较；在接收到告警配置服务发送的阈值调用请求时，若阈值调整幅度大于或等于幅度阈值，则将原始阈值输出至告警配置服务，若阈值调整幅度小于幅度阈值，则将动态阈值输出至告警配置服务。
45.具体的，在本实施例中，获取观测点的原始阈值θ，对比计算出动态阈值δ相对于原始阈值θ的调整幅度，在实际应用中可以根据需求来设置一定的阈值调整幅度阈值(例如10％)，来决定是否将计算的动态阈值更换掉原来的阈值，最终动态阈值表示为：
[0046][0047]
在本实施例中，为防止阈值调整过大而导致无效报警，增加了动态阈值过滤机制，
也即将计算出的动态阈值和原始阈值进行对比，当调整幅度超过10％时舍弃该动态阈值，将原阈值作为结果进行输出。比如某个观测点的原始阈值是40，计算出来的动态阈值为45，那么阈值调整幅度为|45-40|
÷
40＝12.5％，12.5％》10％，进而还是将原来阈值40作为动态阈值，而不是45。
[0048]
基于上述本技术实施例的技术方案，获取观测点在目标历史时段的原始测量数据序列；根据原始测量数据序列计算移动平均数据序列；基于原始测量数据序列以及移动平均数据序列，计算绝对误差平均值以及标准差；结合绝对误差平均值以及标准差计算动态阈值。通过本技术方案的实施，系统基于历史时段的测量数据自动计算动态阈值，准确性和稳定性更高，并有效降低了阈值设置的工作量。
[0049]
图3中的方法为本技术第二实施例提供的一种细化的阈值动态计算方法，该阈值动态计算方法包括：
[0050]
步骤301、获取观测点的数据采集周期以及动态阈值计算频率，并基于数据采集周期以及动态阈值计算频率，相应确定目标历史时段。
[0051]
步骤302、获取观测点在目标历史时段的原始测量数据序列。
[0052]
步骤303、基于原始测量数据序列，计算各时刻的测量数据相应的估计数据，并通过所计算的所有估计数据，获取移动平均数据序列。
[0053]
步骤304、基于原始测量数据序列以及移动平均数据序列，计算绝对误差，并基于绝对误差计算绝对误差平均值。
[0054]
步骤305、基于绝对误差以及绝对误差平均值，计算标准差。
[0055]
步骤306、结合绝对误差平均值以及标准差，计算动态阈值。
[0056]
步骤307、将动态阈值相对于原始阈值的阈值调整幅度与预设幅度阈值进行比较。
[0057]
步骤308、若阈值调整幅度大于或等于幅度阈值，则根据阈值调用请求将原始阈值输出至告警配置服务。
[0058]
步骤309、若阈值调整幅度小于幅度阈值，则根据阈值调用请求将动态阈值输出至告警配置服务。
[0059]
应当理解的是，本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成唯一限定。
[0060]
基于上述本技术实施例的技术方案，获取观测点在目标历史时段的原始测量数据序列；根据原始测量数据序列计算移动平均数据序列；基于原始测量数据序列以及移动平均数据序列，计算绝对误差平均值以及标准差；结合绝对误差平均值以及标准差计算动态阈值。通过本技术方案的实施，系统基于历史时段的测量数据自动计算动态阈值，准确性和稳定性更高，并有效降低了阈值设置的工作量，另外，增加了动态阈值过滤，防止阈值调整幅度过大导致的无效告警。
[0061]
图4为本技术第三实施例提供的一种阈值动态计算装置。该阈值动态计算装置可用于实现前述实施例中的阈值动态计算方法。如图4所示，该阈值动态计算装置主要包括：
[0062]
获取模块401，用于获取观测点在目标历史时段的原始测量数据序列；
[0063]
第一计算模块402，用于根据原始测量数据序列计算移动平均数据序列；
[0064]
第二计算模块403，用于基于原始测量数据序列以及移动平均数据序列，计算绝对
误差平均值以及标准差；
[0065]
第三计算模块404，用于结合绝对误差平均值以及标准差计算动态阈值；其中，动态阈值用于对观测点的实时测量数据进行比较分析。
[0066]
在本实施例的一些实施方式中，该阈值动态计算装置还包括：确定模块。其中，上述获取模块还用于：获取观测点的数据采集周期以及动态阈值计算频率；确定模块具体用于：基于数据采集周期以及动态阈值计算频率，相应确定目标历史时段。
[0067]
进一步地，在本实施例的一些实施方式中，上述确定模块具体用于：将动态阈值计算频率与预设频率阈值进行比较；当动态阈值计算频率小于或等于频率阈值时，将数据采集周期以及动态阈值计算频率输入至第一计算模型，相应确定目标历史时段；第一计算模型表示为：w＝60*f/t；当动态阈值计算频率大于频率阈值时，将数据采集周期以及频率阈值输入至第二计算模型，相应确定目标历史时段；第二计算模型表示为：w＝60*e/t；其中，w表示目标历史时段，f表示动态阈值计算频率，e表示频率阈值，t表示数据采集周期。
[0068]
在本实施例的一些实施方式中，上述第一计算模块具体用于：将原始测量数据序列输入至第三计算模型，计算各时刻的测量数据相应的估计数据；第三计算模型表示为：y
t
＝αx
t
(1-α)y
t-1
，其中，y
t
为t时刻的估计数据，α为权重系数，x
t
表示t时刻的测量数据；通过所计算的所有估计数据，获取移动平均数据序列。
[0069]
在本实施例的一些实施方式中，上述第二计算模块具体用于：基于原始测量数据序列以及移动平均数据序列，计算绝对误差；将绝对误差输入至第四计算模型，计算绝对误差平均值；第四计算模型表示为：将绝对误差以及绝对误差平均值输入至第五计算模型，计算标准差；第五计算模型表示为：其中，表示绝对误差平均值，d
t
表示t时刻的绝对误差，n表示数据总数量，s表示标准差。
[0070]
在本实施例的一些实施方式中，上述第三计算模块具体用于：结合绝对误差平均值以及标准差，计算一级上限阈值、二级上限阈值、一级下限阈值以及二级下限阈值；一级上限阈值表示为：二级上限阈值表示为：一级下限阈值表示为：二级下限阈值表示为：其中，max1表示一级上限阈值，max2表示二级上限阈值，min1表示一级下限阈值，min2表示二级下限阈值，表示绝对误差平均值，s表示标准差。
[0071]
在本实施例的一些实施方式中，该阈值动态计算装置还包括：比较模块和输出模块。其中，上述确定模块还用于：将动态阈值与原始阈值进行比较，确定阈值调整幅度。比较模块用于：将阈值调整幅度与预设幅度阈值进行比较。输出模块用于：在接收到告警配置服务发送的阈值调用请求时，若阈值调整幅度大于或等于幅度阈值，则将原始阈值输出至告警配置服务，若阈值调整幅度小于幅度阈值，则将动态阈值输出至告警配置服务。
[0072]
应当说明的是，第一、二实施例中的阈值动态计算方法均可基于本实施例提供的阈值动态计算装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的阈值动态计算装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0073]
根据本实施例所提供的阈值动态计算装置，获取观测点在目标历史时段的原始测量数据序列；根据原始测量数据序列计算移动平均数据序列；基于原始测量数据序列以及移动平均数据序列，计算绝对误差平均值以及标准差；结合绝对误差平均值以及标准差计算动态阈值。通过本技术方案的实施，系统基于历史时段的测量数据自动计算动态阈值，准确性和稳定性更高，并有效降低了阈值设置的工作量。
[0074]
请参阅图5，图5为本技术第四实施例提供的一种电子装置。该电子装置可用于实现前述实施例中的阈值动态计算方法。如图5所示，该电子装置主要包括：
[0075]
存储器501、处理器502、总线503及存储在存储器501上并可在处理器502上运行的计算机程序，存储器501和处理器502通过总线503连接。处理器502执行该计算机程序时，实现前述实施例中的阈值动态计算方法。其中，处理器的数量可以是一个或多个。
[0076]
存储器501可以是高速随机存取记忆体(ram，random access memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器501用于存储可执行程序代码，处理器502与存储器501耦合。
[0077]
进一步的，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述图5所示实施例中的存储器。
[0078]
该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述实施例中的阈值动态计算方法。进一步的，该计算机可存储介质还可以是u盘、移动硬盘、只读存储器(rom，read-only memory)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0079]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0080]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0081]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0082]
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0083]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列
的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本技术所必须的。
[0084]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0085]
以上为对本技术所提供的阈值动态计算方法、装置及计算机可读存储介质的描述，对于本领域的技术人员，依据本技术实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。