一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据系统异常分析模型的构建方法

2022-09-01 08:45:58 来源:中国专利 TAG:


1.本技术涉及数据分析领域,更具体的说,是涉及一种数据系统异常分析模型的构建方法。


背景技术:

2.随着信息技术的快速发展,众多线下事项已转化为线上办理,线上应用和信息服务逐渐以大型数据系统的形式出现,由于大型数据系统涉及到的数据众多,因此其安全系数要求很高,一旦发生异常,可能造成大量的经济损失。为了跟踪大型数据系统的状态,目前通过分析大型数据系统的各种关键性能指标(key performance indicators,kpi)的时序变化,密切监测大型数据系统是否发生故障。
3.然而,目前普遍采用单kpi指标异常检测的方法判断数据系统是否发生异常,单kpi指标异常检测无法捕捉指标间的空间关系,无法从全局上监测数据系统的状态,对数据系统故障监测的准确率低。
4.如何构建数据系统异常分析模型,以高准确率地对数据系统进行故障监测,是需要关注的问题。


技术实现要素:

5.鉴于上述问题,提出了本技术以便提供一种数据系统异常分析模型的构建方法,以高准确率地对数据系统进行故障监测。
6.为了实现上述目的,现提出具体方案如下:
7.一种数据系统异常分析模型的构建方法,包括:
8.获取数据系统的若干关键性能指标kpi历史时序数据;
9.对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分;
10.根据每一kpi历史时序数据对的不变量得分,确定所述kpi历史时序数据对是否具有不变量关系,以是否具有不变量关系作为模型构建基准,构建各kpi历史时序数据的不变量网络模型,以监测当所述若干kpi历史时序数据更新后,所述数据系统是否发生故障。
11.可选的,在所述构建各kpi历史时序数据的不变量网络模型之后,还包括:
12.当所述若干kpi历史时序数据更新时,对于更新后的每两kpi历史时序数据组成的kpi历史时序数据对:
13.根据每一更新后的kpi历史时序数据的数据分布,确定更新后的kpi历史时序数据对的不变量得分;
14.根据每一更新后的kpi历史时序数据对的不变量得分,确定更新后的kpi历史时序数据对是否具有不变量关系;
15.若kpi历史时序数据对经过更新后,从具有不变量关系改变为不具有不变量关系,则确定所述kpi历史时序数据对存在异常。
16.可选的,在所述构建各kpi历史时序数据的不变量网络模型之后,还包括:
17.统计具有不变量关系的kpi历史时序数据对的个数,确定不变量关系总数。
18.可选的,在确定所述kpi历史时序数据对存在异常之后,还包括:
19.对于每一kpi历史时序数据,统计各存在异常的kpi历史时序数据对中,包含所述kpi历史时序数据的kpi历史时序数据对的数量,作为异常不变量个数;
20.对于每一kpi历史时序数据,将所述kpi历史时序数据的异常不变量个数,除以所述不变量关系总数,得到所述kpi历史时序数据的异常比率;
21.基于各异常比率,将各kpi历史时序数据由高到低排序,以确定各kpi历史时序数据的异常导致所述数据系统故障的可能性。
22.可选的,所述对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分,包括:
23.对于每两kpi历史时序数据组成的kpi历史时序数据对:
24.以时序长度将所述kpi历史时序数据对分成若干子kpi历史时序数据对;
25.对于每个子kpi历史时序数据对:
26.将所述子kpi历史时序数据对输入预先建立的时序数据预测模型,得到其一子kpi历史时序数据的历史时间中的若干目标时刻的预测值;
27.利用下式计算所述子kpi历史时序数据对的不变量子得分:
[0028][0029]
其中,m为所述目标时刻的个数,yi为所述其一子kpi历史时序数据在第i个目标时刻下的值,为所述其一子kpi历史时序数据在第i个目标时刻下的预测值;
[0030]
将每个子kpi历史时序数据对的不变量子得分,组成所述kpi历史时序数据对的不变量得分。
[0031]
可选的,所述时序数据预测模型的建立过程,包括:
[0032]
将已有的kpi历史时序训练数据对代入数据预测公式中,并通过最大似然估计法解得所述数据预测公式的各个系数,其中,所述数据预测公式为:
[0033]
δy
t
=c φ1δy
t-1


φnδy
t-n
φ
n 1
δx
t-1


φ
2n
δx
t-n
[0034]
其中,t为历史时序中的目标时刻,t-n为所述目标时刻之前的第n个时刻,δy
t
为所述kpi历史时序训练数据对中,目标kpi历史时序训练数据在所述目标时刻下的值,δy
t-n
为目标kpi历史时序训练数据在所述目标时刻之前的第n个时刻下的值,δx
t-n
为所述kpi历史时序训练数据对中,非目标kpi历史时序训练数据在所述目标时刻之前的第n个时刻下的值,c为所述目标时刻为所述历史时序中的第一个时刻时的值,φ1、φn、φ
n 1
、φ
2n
分别为δy
t-1
、δy
t-n
、δx
t-1
、δx
t-n
的系数;
[0035]
将所述各个系数应用于所述数据预测公式中,得到第一时序数据预测模型。
[0036]
可选的,在将所述各个系数应用于所述数据预测公式中,得到第一时序数据预测模型之后,还包括:
[0037]
通过所述第一时序数据预测模型,预测所述目标kpi历史时序训练数据在所述历
史时序中的每个时刻的预测值;
[0038]
对于所述目标kpi历史时序训练数据,将所述历史时序中每个时刻的预测值,减去对应时刻下的值,得到所述历史时序中每个时刻下的预测误差值;
[0039]
将所述每个时刻下的预测误差值应用于所述第一时序数据预测模型,得到第二时序数据预测模型。
[0040]
可选的,所述根据每一kpi历史时序数据对的不变量得分,确定所述kpi历史时序数据对是否具有不变量关系,包括:
[0041]
对于每一kpi历史时序数据对:
[0042]
绘制所述kpi历史时序数据对的各子kpi历史时序数据对的不变量子得分的quantile-quantile分位图;
[0043]
若拟合所述quantile-quantile分位图的直线斜率与1的差值小于预设阈值,则确定所述kpi历史时序数据对具有不变量关系;
[0044]
若拟合所述quantile-quantile分位图的直线斜率与1的差值不小于预设阈值,则确定所述kpi历史时序数据对不具有不变量关系。
[0045]
可选的,在所述对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分之前,还包括:
[0046]
通过sarimax模型对每一kpi历史时序数据进行季节性差分和一阶差分,得到差分后的每一kpi历史时序数据。
[0047]
可选的,在所述对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分之前,还包括:
[0048]
分析每两kpi历史时序数据之间的相似性,根据各两kpi历史时序数据之间的相似性,对各kpi历史时序数据进行聚类,得到多类kpi数据;
[0049]
所述对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分,包括:
[0050]
对于每类kpi数据中每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分。
[0051]
借由上述技术方案,本技术通过获取数据系统的若干关键性能指标kpi历史时序数据,对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分,根据每一kpi历史时序数据对的不变量得分,确定所述kpi历史时序数据对是否具有不变量关系,以是否具有不变量关系作为模型构建基准,构建各kpi历史时序数据的不变量网络模型,以监测当所述若干kpi历史时序数据更新后,所述数据系统是否发生故障。由此可见,将两两kpi历史时序数据构成的kpi历史时序数据对,并通过分析kpi历史时序数据对的不变量关系,使得各kpi历史时序数据之间得到联系,由此构建得到的不变量网络模型能够表示各kpi之间的空间关系,从全局上展示出数据系统的状态,从而能够高准确率地对数据系统进行故障监测。
附图说明
[0052]
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本技术
的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
[0053]
图1为本技术实施例提供的一种构建数据系统异常分析模型的流程示意图;
[0054]
图2为本技术实施例提供的一种数据系统异常分析模型的网格模型示意图。
具体实施方式
[0055]
下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
[0056]
本技术方案可以基于具备数据处理能力的终端实现,该终端可以是服务器、云端等。
[0057]
接下来,结合图1所述,本技术的数据系统异常分析模型的构建方法可以包括以下步骤:
[0058]
步骤s110、获取数据系统的若干关键性能指标kpi历史时序数据。
[0059]
具体的,所述数据系统可以是分布式系统,所述分布式系统在应用层、虚拟层、硬件和网络层可以具有大量节点,每个节点可以记录并存储应用数据。kpi历史时序数据可以表示过去的时间中,由每个时刻记录并存储下的数据组成的数据序列。
[0060]
步骤s120、对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分。
[0061]
其中,不变量得分可以表示两个kpi历史时序数据之间的数据变化上的相关程度。
[0062]
可以理解的是,通过分析两个kpi历史时序数据的数据分布,得到在时序上的变化趋势,从而确定两个kpi历史时序数据之间的变化相关程度。
[0063]
步骤s130、根据每一kpi历史时序数据对的不变量得分,确定所述kpi历史时序数据对是否具有不变量关系。
[0064]
具体的,所述不变量得分越大可以表示两kpi历史时序数据的数据变化相关程度越强,反之越弱。可以通过预先设定不变量得分阈值,当不变量得分超过不变量得分阈值时,可以判定为具有不变量关系。
[0065]
步骤s140、以是否具有不变量关系作为模型构建基准,构建各kpi历史时序数据的不变量网络模型。
[0066]
具体的,可以将各kpi历史时序数据作为横、纵坐标构建网格图,网格图中每个点可以表示,以横坐标及纵坐标构成的kpi历史时序数据对是否具有不变量关系,所构建的网格图可以作为不变量网络模型,以监测当所述若干kpi历史时序数据更新后,所述数据系统是否发生故障。
[0067]
示例如图2,网格图的横、纵坐标均由各kpi历史时序数据构成,网格图中的白点表示所对应横坐标的kpi历史时序数据,与所对应纵坐标的kpi历史时序数据构成的kpi历史时序数据对不具有不变量关系,网格图中的黑点表示所对应横坐标的kpi历史时序数据,与所对应纵坐标的kpi历史时序数据构成的kpi历史时序数据对具有不变量关系。
[0068]
本实施例提供的数据系统异常分析模型的构建方法,通过获取数据系统的若干关键性能指标kpi历史时序数据,对于每两kpi历史时序数据组成的kpi历史时序数据对,根据
每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分,根据每一kpi历史时序数据对的不变量得分,确定所述kpi历史时序数据对是否具有不变量关系,以是否具有不变量关系作为模型构建基准,构建各kpi历史时序数据的不变量网络模型,以监测当所述若干kpi历史时序数据更新后,所述数据系统是否发生故障。由此可见,将两两kpi历史时序数据构成的kpi历史时序数据对,并通过分析kpi历史时序数据对的不变量关系,使得各kpi历史时序数据之间得到联系,由此构建得到的不变量网络模型能够表示各kpi之间的空间关系,从全局上展示出数据系统的状态,从而能够高准确率地对数据系统进行故障监测。
[0069]
上述实施例描述了如何构建各历史时序数据的不变量网络模型,以监测当kpi历史时序数据更新后,数据系统是否发生故障,考虑到如何分析数据系统是否发生异常,本技术的一些实施例中,在上述实施例提到的构建各kpi历史时序数据的不变量网络模型之后,对如何判断kpi历史时序数据对是否存在异常的过程进行介绍,该过程可以包括:
[0070]
s1、当所述若干kpi历史时序数据更新时,对于更新后的每两kpi历史时序数据组成的kpi历史时序数据对:
[0071]
s11、根据每一更新后的kpi历史时序数据的数据分布,确定更新后的kpi历史时序数据对的不变量得分。
[0072]
可以理解的是,当数据系统运行时,数据系统的节点会不断记录并存储数据,因此kpi历史时序数据也会不断更新,在此情况下,两个kpi历史数据之间的变化趋势的相关程度可能会产生变化。
[0073]
具体的,可以通过分析两个更新后的kpi历史时序数据的数据分布,得到在更新时序上的变化趋势,从而确定两个更新后的kpi历史时序数据之间的变化相关程度。
[0074]
s12、根据每一更新后的kpi历史时序数据对的不变量得分,确定更新后的kpi历史时序数据对是否具有不变量关系。
[0075]
具体的,可以通过预先设定不变量得分阈值,当不变量得分超过不变量得分阈值时,可以判定为具有不变量关系。
[0076]
s2、若kpi历史时序数据对经过更新后,从具有不变量关系改变为不具有不变量关系,则确定所述kpi历史时序数据对存在异常。
[0077]
可以理解的是,数据系统中各kpi历史时序数据之间,具有不变量关系的kpi历史时序数据对是该数据系统的稳态特征,当具有不变量关系的kpi历史时序数据对的不变量关系破裂时,可以确定所述kpi历史时序数据对存在异常。
[0078]
当数据系统中不变量关系破裂的kpi历史时序数据对的数量达到设定值时,可以判定所述数据系统发生故障。
[0079]
本实施例提供的数据系统异常分析模型的构建方法,通过在kpi历史时序数据对更新时,对更新后的kpi历史时序数据对计算不变量得分,重新确定不变量关系,并确定从具有不变量关系改变为不具有不变量关系的kpi历史时序数据对,从而确定数据系统中存在异常的kpi历史时序数据对,为分析数据系统异常提供了帮助。
[0080]
上述实施例描述了如何确定数据系统更新后的异常kpi历史时序数据对,以辅助分析数据系统异常,考虑到如何通过异常kpi历史时序数据对,对数据系统异常进行分析,本技术的一些实施例中,在上述实施例提到的确定所述kpi历史时序数据对存在异常之后,
对数据系统故障根因定位的过程进行介绍,该过程可以包括:
[0081]
s1、对于每一kpi历史时序数据,统计各存在异常的kpi历史时序数据对中,包含所述kpi历史时序数据的kpi历史时序数据对的数量,作为异常不变量个数。
[0082]
具体的,每一kpi历史时序数据的异常不变量个数可以表示,所述kpi历史时序数据的数据更新时,对其他kpi历史时序数据造成不变量关系破裂的最大个数。
[0083]
可以理解的是,可能存在部分异常的kpi历史时序数据对的持续时间较短,并非导致数据系统故障的因素,基于此,可以对存在异常的kpi历史时序数据对中,包含所述kpi历史时序数据的kpi历史时序数据对进行格兰杰因果测试,筛选出新的存在异常的kpi历史时序数据对。
[0084]
s2、对于每一kpi历史时序数据,将所述kpi历史时序数据的异常不变量个数,除以不变量关系总数,得到所述kpi历史时序数据的异常比率。
[0085]
其中,不变量关系总数可以是,在构建各kpi历史时序数据的不变量网络模型之后且在kpi历史时序数据更新前,统计具有不变量关系的kpi历史时序数据对的个数得到的。
[0086]
具体的,每一kpi历史时序数据的异常比率可以表示,当数据系统确定发生故障时,所述kpi历史时序数据为造成故障原因的可能性。
[0087]
s3、基于各异常比率,将各kpi历史时序数据由高到低排序,以确定各kpi历史时序数据的异常导致所述数据系统故障的可能性。
[0088]
可以理解的是,通过将各kpi历史时序数据按照异常比率由高到低排序,以在数据系统故障发生前,能够对排行在前的若干kpi历史时序数据的数据进行分析,及时排除隐患,避免故障发生。
[0089]
本实施例提供的数据系统异常分析模型的构建方法,通过统计每一kpi历史时序数据的异常不变量个数,并得到每一kpi历史时序数据的异常比率,从而能够根据异常比率的高低进行异常根因定位,在数据系统故障发生前,有效分析并排除异常,避免数据系统故障的发生。
[0090]
本技术的一些实施例中,对上述步骤s120、对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分的过程进行介绍,该过程可以包括:
[0091]
对于每两kpi历史时序数据组成的kpi历史时序数据对:
[0092]
s1、以时序长度将所述kpi历史时序数据对分成若干子kpi历史时序数据对。
[0093]
可以理解的是,kpi历史时序数据对时序长度较长,对kpi历史时序数据对分析所花费时间较长,通过将kpi历史时序数据对分成若干子kpi历史时序数据对能够节省数据分析时间,且更具准确性。
[0094]
对于每个子kpi历史时序数据对:
[0095]
s11、将所述子kpi历史时序数据对输入预先建立的时序数据预测模型,得到其一子kpi历史时序数据的历史时间中的若干目标时刻的预测值。
[0096]
具体的,所述预测值可以表示综合子kpi历史时序数据中,两个子历史时序数据的目标时刻前的所有数据的预测结果。
[0097]
s12、计算所述子kpi历史时序数据对的不变量子得分。
[0098]
具体的,可以利用下式计算所述子kpi历史时序数据对的不变量子得分:
[0099][0100]
其中,m为所述目标时刻的个数,yi为所述其一子kpi历史时序数据在第i个目标时刻下的值,为所述其一子kpi历史时序数据在第i个目标时刻下的预测值。
[0101]
s2、将每个子kpi历史时序数据对的不变量子得分,组成所述kpi历史时序数据对的不变量得分。
[0102]
可以理解的是,由于kpi历史时序数据对的不变量得分是由各子kpi历史时序数据对的不变量子得分组成的,因此kpi历史时序数据对的不变量得分更具有准确性。
[0103]
本实施例提供的数据系统异常分析模型的构建方法,将kpi历史时序数据对分成若干子kpi历史时序数据对,对每一子kpi历史时序数据对进行预测得到若干目标时刻的预测值,并根据预测值求得不变量子得分,最终将每个子kpi历史时序数据对的不变量子得分,组成kpi历史时序数据对的不变量得分,使不变量得分更具有准确性。
[0104]
本技术的一些实施例中,对上述实施例提到的时序数据预测模型的建立过程进行介绍,具体的,该建立过程可以包括:
[0105]
s1、将已有的kpi历史时序训练数据对代入数据预测公式中,并通过最大似然估计法解得所述数据预测公式的各个系数。
[0106]
可以理解的是,未求解各个系数的数据预测公式可以表示时序数据预测模型的框架,当得到由kpi历史时序训练数据代入而求得各个系数后,把各个系数的值代入数据预测公式中即可得到时序数据预测模型。
[0107]
其中,所述数据预测公式为:
[0108]
δy
t
=c φ1δy
t-1


φnδy
t-n
φ
n 1
δx
t-1


φ
2n
δx
t-n
[0109]
其中,t为历史时序中的目标时刻,t-n为所述目标时刻之前的第n个时刻,δy
t
为所述kpi历史时序训练数据对中,目标kpi历史时序训练数据在所述目标时刻下的值,δy
t-n
为目标kpi历史时序训练数据在所述目标时刻之前的第n个时刻下的值,δx
t-n
为所述kpi历史时序训练数据对中,非目标kpi历史时序训练数据在所述目标时刻之前的第n个时刻下的值,c为所述目标时刻为所述历史时序中的第一个时刻时的值,φ1、φn、φ
n 1
、φ
2n
分别为δy
t-1
、δy
t-n
、δx
t-1
、δx
t-n
的系数。
[0110]
s2、将所述各个系数应用于所述数据预测公式中,得到第一时序数据预测模型。
[0111]
具体的,第一时序数据预测模型可以用于对子kpi历史时序数据对进行预测,接收子kpi历史时序数据中指定时刻之前(包括指定时刻)的数据,输出下一时刻的预测值。
[0112]
本实施例提供的数据系统异常分析模型的构建方法,通过将已有的kpi历史时序训练数据对代入数据预测公式,求得数据预测公式的各个系数,得到第一时序数据预测模型,能够对子kpi历史时序数据对进行预测。
[0113]
考虑到更优地拟合第一时序数据预测模型添加的项,可以引入预测误差项对第一时序数据预测模型进行模型优化,本技术的一些实施例中,在上述s2、将所述各个系数应用于所述数据预测公式中,得到第一时序数据预测模型之后,对第一时序数据预测模型优化的过程进行介绍,该过程可以包括:
[0114]
s1、通过所述第一时序数据预测模型,预测所述目标kpi历史时序训练数据在所述历史时序中的每个时刻的预测值。
[0115]
可以理解的是,历史时序中的每个时刻的预测值都会产生一个预测误差值,因此可以通过第一时序数据预测模型,计算历史时序中的每个时刻的预测值。
[0116]
其中,预测误差值可以表示通过第一时序数据预测模型预测后得到的预测值,与真实值的偏离程度。
[0117]
s2、对于所述目标kpi历史时序训练数据,将所述历史时序中每个时刻的预测值,减去对应时刻下的值,得到所述历史时序中每个时刻下的预测误差值。
[0118]
s3、将所述每个时刻下的预测误差值应用于所述第一时序数据预测模型,得到第二时序数据预测模型。
[0119]
可以理解的是,由于第二时序数据预测模型是在第一时序数据预测模型的基础上,引入了误差项而得到的时序数据预测模型,因此在对子kpi历史时序数据对预测时更具有准确性。
[0120]
本实施例提供的数据系统异常分析模型的构建方法,通过第一时序数据预测模型,计算历史时序中的每个时刻的预测值,并与对应时刻下的值相比较,得出预测误差值,将历史时序中的每个时刻的预测误差值添加至第一时序数据预测模型,得到第二时序数据预测模型,使得第二时序数据预测模型在对子kpi历史时序数据对预测时准确率更高。
[0121]
本技术的一些实施例中,对上述步骤130、根据每一kpi历史时序数据对的不变量得分,确定所述kpi历史时序数据对是否具有不变量关系的过程进行介绍,该过程可以包括:
[0122]
对于每一kpi历史时序数据对:
[0123]
s1、绘制所述kpi历史时序数据对的各子kpi历史时序数据对的不变量子得分的quantile-quantile分位图。
[0124]
可以理解的是,具有不变量关系的kpi历史时序数据对中,各子kpi历史时序数据对的不变量子得分线性相关,如果两个历史时序数据线性相关,它们的quantile-quantile分位图趋近于y=x,因此可以通过绘制quantile-quantile分位图的方式鉴别kpi历史时序数据对是否具有不变量关系。
[0125]
s2、若拟合所述quantile-quantile分位图的直线斜率与1的差值小于预设阈值,则确定所述kpi历史时序数据对具有不变量关系。
[0126]
具体的,预设阈值可以表示与1的最大斜率误差值。
[0127]
可以理解的是,由于y=x的斜率为1,因此可以拟合kpi历史时序数据对的quantile-quantile分位图,若拟合直线的斜率与1的差值小于预设阈值,可以表示kpi历史时序数据对线性相关性较强,具有不变量关系。
[0128]
s3、若拟合所述quantile-quantile分位图的直线斜率与1的差值不小于预设阈值,则确定所述kpi历史时序数据对不具有不变量关系。
[0129]
可以理解的是,若拟合直线的斜率与1的差值不小于预设阈值,可以表示kpi历史时序数据对线性相关性较弱,不具有不变量关系。
[0130]
本实施例提供的数据系统异常分析模型的构建方法,通过绘制kpi历史时序数据对的quantile-quantile分位图,并拟合quantile-quantile分位图的斜率,并判断斜率与1
的接近程度,以此确定kpi历史时序数据对是否具有不变量关系,减少了人工对不变量关系的判定,使得确定kpi历史时序数据对的不变量关系更客观、准确。
[0131]
考虑到kpi历史时序数据的数据量庞大,且存在复杂的周期性和趋势性,为使确定kpi历史时序数据对的不变量得分更准确,本技术的一些实施例中,在上述步骤s120、对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分之前,对kpi历史时序数据平稳化处理,该处理过程可以包括:
[0132]
s1、通过sarimax模型对每一kpi历史时序数据进行季节性差分和一阶差分,得到差分后的每一kpi历史时序数据。
[0133]
具体的,可以对kpi历史时序数据进行季节性差分,得到季节性差分后的kpi历史时序数据,以去除kpi历史时序数据的周期性。
[0134]
进一步地,对季节性差分后的kpi历史时序数据进行一阶差分,得到平稳化处理后的kpi历史时序数据,以去除kpi历史时序数据的趋势性。
[0135]
其中,对kpi历史时序数据应用季节性差分和一阶差分可以不分先后。
[0136]
本实施例提供的数据系统异常分析模型的构建方法,对每一kpi历史时序数据进行季节性差分和一阶差分,去除kpi历史时序数据的周期性和趋势性,使kpi历史时序数据更加平稳,使后续确定kpi历史时序数据对的不变量得分更准确。
[0137]
考虑到节省计算kpi历史时序数据对的不变量得分的过程的时间,本技术的一些实施例中,在上述步骤s120、对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分之前,可以预先对各kpi历史时序数据聚类,具体可以包括:
[0138]
分析每两kpi历史时序数据之间的相似性,根据所述各两kpi历史时序数据之间的相似性,对各kpi历史时序数据进行聚类,得到多类kpi数据。
[0139]
具体的,可以基于形状的距离(shaped-based distance,sbd)分析每两kpi历史时序数据之间的相似度,将相似度大于预设相似度的kpi历史时序数据聚类,得到多类kpi数据。
[0140]
可以理解的是,在对各kpi历史时序数据聚类得到多类kpi数据之后,可以在每类kpi数据中分析kpi历史时序数据对的不变量得分,能够减少分析kpi历史时序数据对的数量,基于此,对于上述步骤s120、对于每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分的过程,可以包括:
[0141]
对于每类kpi数据中每两kpi历史时序数据组成的kpi历史时序数据对,根据每一kpi历史时序数据的数据分布,确定所述kpi历史时序数据对的不变量得分。
[0142]
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0143]
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。
[0144]
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献