一种基于关键指标和深度学习的故障分析方法与流程

1.本发明涉及智能运维相关的故障定位技术、以及大数据分析、深度神经网络技术领域，具体涉及一种基于关键指标和深度学习的故障分析方法。


背景技术：

2.随着5g、物联网技术的快速发展，服务器管理向更加智能的方向发展，各种虚拟化、容器化运维系统得以建成。海量监控项的出现给运维人员的工作带来了很大的挑战，要想实现智能运维，最关键的部分就是监控系统和告警系统，并利用机器学习算法进行快速监控和排障。
3.智能物联网设备为我们提供了海量数据，随着计算机和数据量的增多，数据中心作为传递、加速、展示、计算、储存数据信息的基础设施，其重要性日益凸显。数据中心网络常见的故障主要集中在硬件故障和系统故障。维护数据中心的正常运行，是运维工作中至关重要的一环。为了使运维工作更加高效，需要把监控、管理和故障定位三部分有机结合起来，利用人工智能技术最终达到智能运维。但当前的监控和告警系统往往不够精准，经常出现漏报和误报现象，对异常难以检测从而出现漏报现象，对正常设备进行告警从而出现误报现象。


技术实现要素：

4.针对现有技术中存在的缺陷，本发明的目的在于提供一种基于关键指标和深度学习的故障分析方法，能够更加精确地对待预测项未来时刻的变化进行预测，有效避免故障的漏报和误报。
5.为达到以上目的，本发明提供的一种基于关键指标和深度学习的故障分析方法，具体包括以下步骤：
6.对待预测的目标监控项和其余监控项间进行时间序列相关性分析，并通过特征提取得到时间序列的波动特征序列；
7.对得到的各波动特征序列间进行相关性度量，判断得到时间序列之间的相关性；
8.基于得到的时间序列之间的相关性，得到其余监控项中与目标监控项相关度较高的监控项，并记作相关监控项；
9.将目标监控项和得到的相关监控项的时间序列均输入lstm以进行时序特征提取处理；
10.基于时序特征提取处理结果，得到每个时间步长下的隐状态，并基于注意力机制对影响力不同的相关监控项的时间序列进行修正，得到修正后的隐状态；
11.基于全连接层融合方式，将目标监控项的告警信息与修正后的隐状态进行融合，得到预测序列输出，并获得预测的告警信息。
12.在上述技术方案的基础上，所述目标监控项和其余监控项的时间序列由智能运维系统中各监控项的历史监控状态值得到。
13.在上述技术方案的基础上，所述对待预测的目标监控项和其余监控项间进行时间序列相关性分析，并通过特征提取得到时间序列的波动特征序列，对得到的各波动特征序列间进行相关性度量，判断得到时间序列之间的相关性，具体步骤包括：
14.基于特征检测器检测得到目标监控项和其余监控项的时间序列s＝[s1,
…
,sm]的预测序列p＝[p1,
…
,pm]，其中，s表示时间序列，sm表示时间序列的子序列，p表示预测序列，pm表示预测序列的子序列；
[0015]
基于特征检测器检测得到的预测序列，提取得到波动特征序列e＝[ε1,
…
,εm]，其中，e表示波动特征序列，εm表示波动特征序列的子序列，且εm＝s
m-pm；
[0016]
对得到的波动特征序列进行z-score的归一化处理，并对归一化处理后的波动特征序列进行特征放大；
[0017]
基于相位差并结合cross-correlation计算各特征放大后的波动特征序列之间的相关性，得到目标监控项和其余监控项的时间序列之间的相关性。
[0018]
在上述技术方案的基础上，所述对归一化处理后的波动特征序列进行特征放大，其中，进行特征放大所使用的函数为：
[0019][0020]
其中，f
α,β
(x)表示特征放大函数，α表示放大系数，β表示方法阈值，波动特征序列e＝[ε1,
…
,εm]放大后为其中，表示放大后的波动特征序列，f(ε1)和f(εn)均表示放大后的波动特征序列的子序列，x表示特征放大函数中的变量。
[0021]
在上述技术方案的基础上，所述计算各特征放大后的波动特征序列之间的相关性，具体的计算过程为：
[0022]
对于进行相关性计算的波动特征序列g＝[g1,
…
,gm]和波动特征序列h＝[h1,
…
,hm]，定义：
[0023][0024]
其中，gs表示定义的波动特征序列，且-l＜s＜l；
[0025]
定义波动特征序列gs和波动特征序列h之间的相关性为：
[0026][0027]
其中，cc(gs,h)表示波动特征序列gs和波动特征序列h之间的相关性，r(gs,h)＝gs·
h，表示波动特征序列gs和波动特征序列h向量之间的内积，r(h,h)＝h
·
h，表示波动特征序列h和波动特征序列h向量之间的内积；
[0028]
计算得到波动特征序列之间的相关性，计算公式为：
[0029][0030]
其中，fcc(g,h)表示波动特征序列g和波动特征序列h之间的相关性，cc＝cc(gs,h)。
[0031]
在上述技术方案的基础上，所述将目标监控项和得到的相关监控项的时间序列均输入lstm以进行时序特征提取处理，基于时序特征提取处理结果，得到每个时间步长下的隐状态，并基于注意力机制对影响力不同的相关监控项的时间序列进行修正，得到修正后的隐状态，具体步骤包括：
[0032]
将目标监控项和得到的相关监控项的时间序列均输入lstm以进行时序特征提取处理，得到每个时刻下的隐状态hi、每个hi的维度m、过去时刻的隐状态矩阵h＝[h
t-w
,h
t-w 1
,...,h
t-1
]以及最后一个时刻的隐状态h
t
，其中，h
t-w
、h
t-w 1
和h
t-1
均表示过去时刻的隐状态，w表示滑窗窗口长度；
[0033]
基于cnn，并通过k个过滤器对过去时刻的隐状态进行时间检测，得到：
[0034]
hc∈rm×k[0035]
其中，hc表示进行时间检测后的过去时刻的隐状态矩阵，r表示实数；
[0036]
基于hc计算得到行向量的注意力权重a，并基于注意力机制对行向量进行带权求和得到v
t
，v
t
表示对行向量进行带权求和得到的值；
[0037]
融合v
t
和h
t
，得到经过注意力机制修正后的隐状态：
[0038]
h＇
t
＝whh
t
wvv
t
[0039]
其中，h＇
t
表示修正后的隐状态，wh和wv均表示训练参数。
[0040]
在上述技术方案的基础上，所述过去时刻的隐状态矩阵的行向量表示某单一变量在所有时间步下的状态。
[0041]
在上述技术方案的基础上，在基于cnn对过去时刻的隐状态进行时间检测之前，还包括，基于卷积捕获可变的信号模式，其中，具体的计算公式为：
[0042][0043]
其中，表示经过第j个过滤器的第i行向量的卷积值，l表示过滤器数目，过滤器ci∈r1×
t
，i＝1,2,...,k，k表示总过滤器个数，w表示过滤器个数，t表示转置，h
i,t-w-1 l
表示过去时刻的隐转态，c
j,t-w 1
表示过滤器。
[0044]
在上述技术方案的基础上，所述基于hc计算得到行向量的注意力权重a，基于注意力机制对行向量进行带权求和得到v
t
，其中，得到v
t
的具体步骤为：
[0045]
基于评分函数评估hc中行向量与最后一个时刻的隐状态h
t
之间，所述评分函数为其中，表示评分函数，wa表示训练参数；
[0046]
基于sigmoid激活函数对行向量进行归一化处理，得到行向量的权重：
[0047]
[0048]
其中，αi表示行向量的权重，sigmoid表示激活函数；
[0049]
基于注意力机制对行向量进行带权求和得到v
t
：
[0050][0051]
在上述技术方案的基础上，所述基于全连接层融合方式，将目标监控项的告警信息与修正后的隐状态进行融合，具体的融合算法为：
[0052]
y＝w
x
x whh＇
t
[0053]
其中，y表示目标监控项的告警信息与修正后的隐状态融合后的值，x表示目标监控项的告警信息，w
x
表示训练参数。
[0054]
与现有技术相比，本发明的优点在于：采用能够真正有效地利用长距离时序信息的长短时记忆网络，考虑到不同因子对最终结果的影响力不同，利用卷积神经网络检测时间模式，加上注意力机制，为输入的不同时间序列进行加权以区分重要性，另外，为了避免大量运算，通过时间序列的相关分析，找到与待预测项相关程度更高的监控项，减少噪声的干扰，从而更加精确地对待预测项未来时刻的变化进行预测，有效避免故障的漏报和误报。
附图说明
[0055]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1为本发明实施例中一种基于关键指标和深度学习的故障分析方法的流程图；
[0057]
图2为本发明实施例中监控项相关分析的示意图；
[0058]
图3为本发明实施例中通过注意力机制对相关变量进行加权的示意图。
具体实施方式
[0059]
本发明提供一种基于关键指标和深度学习的故障分析方法，通过对历史数据中的故障信息进行分析，用深度学习的方法得到故障产生的相关项，学习各项之间的对应关系，从而可以利用海量监控项数据对故障进行预测，实现异常发现，有效避免故障的漏报和误报。
[0060]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0061]
参见图1所示，本发明实施例提供的一种基于关键指标和深度学习的故障分析方法，用以解决现有的技术方法中存在的局限性，通过时间序列相关分析找到待预测项的相关项，结合注意力机制利用lstm算法对待预测项的变化情况进行预测，具体包括以下步骤：
[0062]
s1：对待预测的目标监控项和其余监控项间进行时间序列相关性分析，并通过特征提取得到时间序列的波动特征序列；
[0063]
s2：对得到的各波动特征序列间进行相关性度量，判断得到时间序列之间的相关性；
[0064]
即待预测的目标监控项和其余监控项间进行时间序列相关性分析，首先对数据进行预处理得到时间序列，继而通过特征提取得到时间序列的波动特征序列，接着对波动特征序列进行相关性度量，判断两条时间序列之间的波动相关性，该过程可以参见图2所示。
[0065]
具体的，对于上述过程，选取数据中心的某待预测目标监控项与另一监控项，首先对故障数据进行预处理，预处理包括处理缺失值、离群点、噪声干扰等，然后对预处理后的时间序列s＝[s1,
…
,sm]，经过时间序列预测模型(特征检测器)得到预测序列p＝[p1,
…
,pm]，其中，pm表示sm的预测值，则波动特征序列为e＝[ε1,
…
,εm]，εm＝s
m-pm。由于正常部分比较容易被准确预测，而异常波动部分通常难以预测，因此预测误差可以很好的用来表示监控项的波动特征，如果两时间序列波动特征序列相关，则认为时间序列本身波动相关。
[0066]
本发明实施例中，目标监控项和其余监控项的时间序列由智能运维系统中各监控项的历史监控状态值得到。与目标监控项相关的监控项的时间序列可以通过时间序列相关性分析方法，由智能运维系统在所有监控项数据中筛选得出。
[0067]
s3：基于得到的时间序列之间的相关性，得到其余监控项中与目标监控项相关度较高的监控项，并记作相关监控项；
[0068]
s4：将目标监控项和得到的相关监控项的时间序列均输入lstm(long-shorttermmemory，长短期记忆网络)以进行时序特征提取处理；
[0069]
s5：基于时序特征提取处理结果，得到每个时间步长下的隐状态，并基于注意力机制对影响力不同的相关监控项的时间序列进行修正，得到修正后的隐状态；
[0070]
即将目标监控项和得到的相关监控项的时间序列用lstm进行处理，得到每个时间步长下的隐状态，由于不同的相关监控项对目标监控项的影响往往是不同的，需要加入注意力机制，得到最后修正的隐状态。
[0071]
具体的，传统的注意力机制是为时间维度的量赋权，而对不同的变量则是采取统一的操作，在这里我们需要考虑到不同变量对预测变量的影响，为了实现这一目标，通过cnn(卷积神经网络)对时间模式进行检测，再利用注意力机制对不同变量进行加权得到v
t
，最后将v
t
和h
t
融合，得到h＇
t
。
[0072]
s6：基于全连接层融合方式，将目标监控项的告警信息与修正后的隐状态进行融合，得到预测序列输出，并获得预测的告警信息。
[0073]
本发明实施例中，对待预测的目标监控项和其余监控项间进行时间序列相关性分析，并通过特征提取得到时间序列的波动特征序列，对得到的各波动特征序列间进行相关性度量，判断得到时间序列之间的相关性，具体步骤包括：
[0074]
s201：基于特征检测器检测得到目标监控项和其余监控项的时间序列s＝[s1,
…
,sm]的预测序列p＝[p1,
…
,pm]，其中，s表示时间序列，sm表示时间序列的子序列，p表示预测序列，pm表示预测序列的子序列；
[0075]
特征检测器包括多种类型，例如，以日周为周期计算差分、holt-winters方法、时间序列分解法等。
[0076]
s202：基于特征检测器检测得到的预测序列，提取得到波动特征序列e＝[ε1,
…
,εm]，其中，e表示波动特征序列，em表示波动特征序列的子序列，且εm＝s
m-pm；
[0077]
s203：对得到的波动特征序列进行z-score的归一化处理，并对归一化处理后的波动特征序列进行特征放大。z-score为数据处理的一种常用方法，它能够将不同量级的数据转化为统一量度的z-score分值进行比较。
[0078]
对波动特征序列进行归一化处理，再对归一化后的波动序列进行特征放大，使得特征更加便于区分，有利于波动特征的识别。
[0079]
本发明实施例中，对归一化处理后的波动特征序列进行特征放大，其中，进行特征放大所使用的函数为：
[0080][0081]
其中，f
α,β
(x)表示特征放大函数，α表示放大系数，β表示方法阈值，波动特征序列e＝[ε1,
…
,εm]放大后为其中，表示放大后的波动特征序列，f(ε1)和f(εn)均表示放大后的波动特征序列的子序列，x表示特征放大函数中的变量。当x＞β，变换后为常数。
[0082]
s204：基于相位差并结合cross-correlation(互相关)计算各特征放大后的波动特征序列之间的相关性，得到目标监控项和其余监控项的时间序列之间的相关性。
[0083]
本发明实施例中，计算各特征放大后的波动特征序列之间的相关性，具体的计算过程为：
[0084]
s2041：对于进行相关性计算的波动特征序列g＝[g1,
…
,gm]和波动特征序列h＝[h1,
…
,hm]，定义：
[0085][0086]
其中，gs表示定义的波动特征序列，且-l＜s＜l；且上述公式中，每一分项中0的个数为s个。
[0087]
s2042：定义波动特征序列gs和波动特征序列h之间的相关性为：
[0088][0089]
其中，cc(gs,h)表示波动特征序列gs和波动特征序列h之间的相关性，r(gs,h)＝gs·
h，表示波动特征序列gs和波动特征序列h向量之间的内积，r(h,h)＝h
·
h，表示波动特征序列h和波动特征序列h向量之间的内积；
[0090]
s2043：计算得到波动特征序列之间的相关性，计算公式为：
[0091][0092]
其中，fcc(g,h)表示波动特征序列g和波动特征序列h之间的相关性，cc＝cc(gs,h)。由于波动有可能是反向的，则不仅要考虑相关性大于0的情况，也要考虑小于0的情况。
对于上述公式，fcc(g,h)的值越接近1或-1，则g和h越相关。
[0093]
本发明实施例中，参见图3所示中，将目标监控项和得到的相关监控项的时间序列均输入lstm以进行时序特征提取处理，基于时序特征提取处理结果，得到每个时间步长下的隐状态，并基于注意力机制对影响力不同的相关监控项的时间序列进行修正，得到修正后的隐状态，具体步骤包括：
[0094]
s501：将目标监控项和得到的相关监控项的时间序列均输入lstm以进行时序特征提取处理，得到每个时刻下的隐状态hi、每个hi的维度m、过去时刻的隐状态矩阵h＝[h
t-w
,h
t-w 1
,...,h
t-1
]以及最后一个时刻的隐状态h
t
，其中，h
t-w
、h
t-w 1
和h
t-1
均表示过去时刻的隐状态，w表示滑窗窗口长度；过去时刻的隐状态矩阵的行向量表示某单一变量在所有时间步下的状态。列向量表示同一时间步下所有变量的状态。
[0095]
s502：基于cnn，并通过k个过滤器对过去时刻的隐状态进行时间检测，得到：
[0096]
hc∈rm×k[0097]
其中，hc表示进行时间检测后的过去时刻的隐状态矩阵，r表示实数；
[0098]
对于该步骤，在基于cnn对过去时刻的隐状态进行时间检测之前，还包括，基于卷积捕获可变的信号模式，其中，具体的计算公式为：
[0099][0100]
其中，表示经过第j个过滤器的第i行向量的卷积值，l表示过滤器数目，过滤器ci∈r1×
t
，i＝1,2,...,k，k表示总过滤器个数，w表示过滤器个数，t表示转置，h
i,t-w-1 l
表示过去时刻的隐转态，c
j,t-w 1
表示过滤器。
[0101]
s503：基于hc计算得到行向量的注意力权重a，并基于注意力机制对行向量进行带权求和得到v
t
，v
t
表示对行向量进行带权求和得到的值；
[0102]
本发明实施例中，基于hc计算得到行向量的注意力权重a，基于注意力机制对行向量进行带权求和得到v
t
，其中，得到v
t
的具体步骤为：
[0103]
s5031：基于评分函数评估hc中行向量与最后一个时刻的隐状态h
t
之间，所述评分函数为其中，表示评分函数，wa表示训练参数；
[0104]
s5032：基于sigmoid激活函数对行向量进行归一化处理，得到行向量的权重：
[0105][0106]
其中，αi表示行向量的权重，sigmoid表示激活函数；
[0107]
s5034：基于注意力机制对行向量进行带权求和得到v
t
：
[0108][0109]
s504：融合v
t
和h
t
，得到经过注意力机制修正后的隐状态：
[0110]
h＇
t
＝whh
t
wvv
t
[0111]
其中，h＇
t
表示修正后的隐状态，wh和wv均表示训练参数。
[0112]
本发明实施例中，基于全连接层融合方式，将目标监控项的告警信息与修正后的隐状态进行融合，具体的融合算法为：
[0113]
y＝w
x
x whh＇
t
[0114]
其中，y表示目标监控项的告警信息与修正后的隐状态融合后的值，x表示目标监控项的告警信息，w
x
表示训练参数。
[0115]
本发明的故障分析方法，设计了时间序列相关性分析方法，捕捉待预测项与其他监控项之间的关系，判断时间序列之间的波动相关性，并进一步分析波动的先后顺序，找到对待预测项有影响的监控项；设计了结合注意力机制的用于多变量时间序列预测方法，考虑到不同监控项对于结果的影响作用不同，传统lstm的注意力机制选择相关的时间步进行加权，而本发明的注意力机制则是选择相关变量加权，有助于多维特征的融合。
[0116]
通过对关键指标进行相关性分析，可以得到与目标监控项的故障存在关联关系的相关监控项，大大减小了预测故障时所需处理的数据量。另外，通过设计lstm的注意力机制，区分了不同相关监控项对于目标监控项的影响，结合目标监控项的告警信息，使得预测序列更加准确。
[0117]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
[0118]
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。