一种数据中心异常检测的方法、装置及相关产品与流程

1.本技术涉及数据处理领域，尤其涉及一种数据中心异常检测的方法、装置及相关产品。


背景技术：

2.随着大数据技术和云计算技术的快速发展，金融行业数据中心逐渐成为各类数据的主要载体。越来越多的信息和服务汇聚金融行业数据中心进行处理，it运维在数据中心资源管理中的重要性与日俱增。
3.现有技术在关键性能指标时序数据异常检测中，往往采用基于单一统计特征的异常检测算法提取关键性能指标数据中的有效特征。然而，在实际数据中心运维场景中，关键性能指标种类繁多，根据业务的不同遵循不同的概率分布。这使得传统的基于单一统计特征的异常检测算法难以提取关键性能指标数据中的有效特征，从而导致数据中心异常检测准确度较低。此外，基于单一统计特征的异常检测算法需对关键性能指标数据预先假设再统计，这种异常检测方式效率较低。
4.因此，如何提高数据中心异常检测准确度，且提高异常检测效率，成为亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本技术提供了一种数据中心异常数据检测的方法、装置及相关产品，旨在通过自动提取复杂多样的关键性能指标序列的特征，提高数据中心异常检测的准确度和异常检测效率。
6.第一方面，本技术实施例提供了一种数据中心异常检测的方法，所述方法包括：
7.获取关键性能指标序列；所述关键性能指标序列包括数据中心的多个关键性能指标数据；
8.利用预设网络提取所述关键性能指标序列的特征，生成指标特征序列，所述预设网络为自动提取数据隐藏特征的网络；
9.解码和重构所述指标特征序列，生成重构序列；
10.根据所述重构序列，进行关键性能指标的异常检测。
11.可选的，所述预设网络为变分自编码器，所述利用预设网络提取所述关键性能指标序列的特征，生成指标特征序列，包括：
12.将关键性能指标序列输入变分自编码器，自动提取所述关键性能指标序列的低维嵌入特征，生成指标特征序列。
13.可选的，所述解码和重构所述指标特征序列，生成重构序列之前，所述方法还包括：
14.将所述指标特征序列输入门控循环单元网络进行预测，生成预测序列；所述预测序列为所述指标特征序列的预测序列；
15.所述解码和重构所述指标特征序列，生成重构序列，包括：
16.基于变分自编码器的解码网络，解码和重构所述预测序列，生成重构序列。
17.可选的，利用预设网络提取所述关键性能指标序列的特征之前，所述方法还包括：
18.标准化处理所述关键性能指标序列，获得标准化关键性能指标序列；
19.基于滑动窗口分割所述标准化关键性能指标序列，获取连续短窗口序列；
20.所述利用预设网络提取所述关键性能指标序列的特征，包括：
21.将所述连续短窗口序列输入预设网络，提取所述关键性能指标序列的特征。
22.可选的，所述根据所述重构序列，进行关键性能指标序列的异常检测，包括：
23.根据所述重构序列和所述关键性能指标序列，计算重构误差；所述重构误差为模型异常检测分数；
24.响应于所述重构误差大于预设误差阈值，确定所述数据中心的关键性能指标异常；
25.响应于所述重构误差不大于预设阈值，确定所述数据中心的关键性能指标正常。
26.可选的，所述根据所述重构序列和所述关键性能指标序列，计算重构误差，包括：
27.预设重构误差与重构序列与关键性能指标序列之差的映射关系；
28.根据所述映射关系，基于所述重构序列和所述关键性能指标序列，确定重构误差。
29.第二方面，本技术实施例提供了一种数据中心异常检测的装置，所述装置包括：
30.获取模块，用于获取关键性能指标序列；所述关键性能指标序列包括数据中心的多个关键性能指标数据；
31.特征提取模块，用于利用预设网络提取所述关键性能指标序列的特征，生成指标特征序列，所述预设网络为自动提取数据隐藏特征的网络；
32.重构模块，用于解码和重构所述指标特征序列，生成重构序列；
33.检测模块，用于根据所述重构序列，进行关键性能指标的异常检测。
34.可选的，所述预设网络为变分自编码器，所述特征提取模块，还用于将关键性能指标序列输入变分自编码器，自动提取所述关键性能指标序列的低维嵌入特征，生成指标特征序列。
35.第三方面，本技术实施例提供一种数据中心异常检测生成设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；
36.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面任一项所述的方法。
37.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储代码，所述代码被处理器执行时实现如第一方面中任一项数据中心异常检测的方法的步骤。
38.本技术提供了公开了一种数据中心异常检测的方法、装置及相关产品，在执行所述方法时：首先，获取关键性能指标序列，并通过能够自动提取数据隐藏特征的第一预设网络提取关键性能指标序列的特征，生成指标特征序列。然后通过解码和重构所述指标特征序列，生成重构序列。最后根据重构序列，判断关键性能指标是否异常。如此，通过能够自动提取数据隐藏特征的第一预设网络提取复杂多样的关键性能指标的有效特征，避免基于单一统计特征的异常检测算法难以提取复杂关键性能指标的有效特征的问题，提高了数据中
心异常检测的准确度，且提高了异常检测效率。
附图说明
39.为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本技术实施例提供的一种数据中心异常检测的方法流程图；
41.图2为本技术实施例提供的另一种数据中心异常检测的方法流程图；
42.图3为本技术实施例提供的第三种数据中心异常检测的方法流程图；
43.图4为门控循环单元网络的结构示意图；
44.图5为本技术实施例提供的一种数据中心异常检测装置结构性示意图。
具体实施方式
45.正如前文所述，目前往往采用基于单一统计特征的异常检测算法提取关键性能指标数据中的有效特征。然而，伴随着数据中心组件以及服务系统的复杂化，关键性能指标数据的异常类型也日渐多样化。这种基于单一统计特征的异常检测算法已经难以满足提取复杂关键性能指标数据中的有效特征。这导致在异常检测时，极容易产生大量的误差，导致异常检测准确度低。
46.基于此，本技术提出了一种通过能够自动提取数据隐藏特征的第一预设网络提取复杂多样的关键性能指标的有效特征，避免基于单一统计特征的异常检测算法难以提取复杂关键性能指标的有效特征的问题，从而提高数据中心异常检测的准确和异常检测效率。
47.需要说明的是，本发明提供的数据中心异常检测的方法可用于人工智能领域、区块链领域、分布式领域、云计算领域、大数据领域、物联网领域、移动互联领域、数字孪生领域或金融领域。上述仅为示例，并不对本发明提供的数据中心异常数据检测的方法及系统的应用领域进行限定。
48.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.参见图1，为本技术实施例提供的一种数据中心异常检测的方法流程图。该方法应用于银行数据中心系统。该方法至少包括以下步骤：
50.s101：获取关键性能指标序列。
51.在本技术实施例中，银行数据中心系统首先获取关键性能指标序列。其中，关键性能指标序列包括数据中心的多个关键性能指标数据。在本技术实施例中，关键性能指标包括页面访问流量、在线用户数、设备内存利用率、负载均衡请求数和页面响应时间等。在本技术实施例中，关键性能指标序列为上述关键性能指标数据依照预设方式组成的序列。其中，预设方式为预设内置在银行数据中心系统服务器中的方式。
52.示例性说明：假设预设序列排列方式为[页面访问流量，在线用户数，设备内存利
用率，负载均衡请求数，页面响应时间]。银行数据中心系统获取的关键性能指标数据为页面访问流量为a，在线用户数为b，设备内存利用率为c，负载均衡请求数为d，页面响应时间为e，则关键性能指标序列为[a，b，c，d，e]。
[0053]
s102：利用预设网络提取关键性能指标序列的特征，生成指标特征序列。
[0054]
在本技术实施例中，当获取关键性能指标序列之后，利用预设网络提取关键性能指标序列的特征，生成指标特征序列。在本技术实施例中，预设网络为能自动提取数据隐藏特征的网络。在本技术实施例中，预设网络可以选择变分自编码器。
[0055]
变分自编码器是一种将深度学习和概率统计技术紧密联系，可以自动学习序列数据更深层次的表示。从结构上讲，变分自编码器包括具有参数φ的编码网络和具有参数θ的解码网络。其中，变分自编码器将输入数据x变换为低维嵌入z，然后对z进行随机采样，经解码后得到重构数据其中近似分布q
φ
(z|x)基于变分推理技术构建的。
[0056]
示例性说明：假设q
φ
(z|x)服从高斯分布，模型的对数似然函数如式所示：
[0057][0058]
根据jensen不等式，上式可改写成式：
[0059][0060]
其中l(θ,φ；x)为对数似然函数log p
θ
(x)的变分下届，为减小重构误差，必须使变分下届最大。因此变分自编码器的优化目标就是最大化变分下届函数，如下式所示：
[0061][0062]
在本技术实施例中，变分自编码器获取输入数据的概率分布对应的均值和方差。在本技术实施例中，变分自编码器可以引入重参数技巧，在编码网络上增加了高斯噪声进行约束，使生成的隐变量服从高斯分布，用于解决直接采样法对获得概率分布对应的均值和方差均不可导，难以更新权重的问题。
[0063]
在本技术实施例中，预设网络也可以选择其他能够自动提取数据隐藏特征的网络，比如gnns网络。
[0064]
s103：解码和重构所述指标特征序列，生成重构序列。
[0065]
在本技术实施例中，指标特征序列是由编码器编码之后获得的序列，编码完成后，需要对指标特征序列进行解码和重构，生成重构序列。
[0066]
在本技术实施例中，可以基于变分自编码器的解码网络进行解码和重构，也可以采用其他解码网络进行解码和重构，生成重构序列。在本技术实施例中，重构序列包括了复杂关键性能指标的有效特征，因此，利用重构序列进行数据中心异常判断，准确度更高。
[0067]
s104：根据所述重构序列，进行关键性能指标的异常检测。
[0068]
在本技术实施例中，对于生成的重构需求，需要通过预设方式进行关键性能指标的异常检测。在本技术提供的一种实施例中，可以通过根据所述重构序列和所述关键性能指标序列，计算重构误差；所述重构误差为模型异常检测分数。当重构误差大于预设误差阈值时，确定数据中心的关键性能指标异常；否则，确定数据中心的关键性能指标数据正常。
[0069]
在本技术提供的另一种实时例中，可以通过预设重构误差与重构序列与关键性能指标序列之差的映射关系，并根据上述映射关系，确定重构误差。相同的，当当重构误差大于预设误差阈值时，确定数据中心的关键性能指标异常；否则，确定数据中心的关键性能指标数据正常。本领域技术人员可以明确，映射关系可以根据需要自行设置，预设误差阈值根据需要也可以自行调整。
[0070]
本技术实施例提供的一种数据中心异常检测的方法，首先，获取关键性能指标序列，并通过能够自动提取数据隐藏特征的第一预设网络提取关键性能指标序列的特征，生成指标特征序列。然后通过解码和重构所述指标特征序列，生成重构序列。最后根据重构序列判断关键性能指标是否异常。如此，通过能够自动提取数据隐藏特征的预设网络提取复杂多样的关键性能指标的有效特征，避免基于单一统计特征的异常检测算法难以提取复杂关键性能指标的有效特征的问题，提高了数据中心异常检测的准确度，且提高了异常检测效率。
[0071]
参见图2，为本技术实施例提供的另一种数据中心异常检测方法流程图。该方法应用于银行数据中心系统。该方法包括以下步骤：
[0072]
s201：获取关键性能指标kpi序列。
[0073]
s202：标准化处理kpi序列，获得标准化kpi序列。
[0074]
在本技术实施例中，为避免kpi指标数据中不同值之间的明显差异对实现结果造成的影响，首先对kpi序列进行标准化处理。处理形式如下：
[0075][0076]
其中，μ为x的均值，σ为x的标准差，x是原始数据，x
′
为标准化后的值。使用标准化后的kpi时序数据进行训练预设网络模型，有效缩短了模型的训练时长并且提高了检测的准确度。
[0077]
s203：基于滑动窗口分割标准化关键性能指标序列，获取连续短窗口序列。
[0078]
在本技术实施例中，由于kpi数据为长持续性数据，但自动提取数据隐藏特征的预设网络并非序列模型，直接采用预设网络在原始数据点上进行训练，会忽略时间序列数据中固有的重要时间信息。基于滑动窗口分割标准化关键性能指标序列，可以将时间相关性引入到预设网络。具体的，在关键性能指标上应用长度为l的滑动窗口，例如w
t
＝[x
t-l 1
,
…
,x
t
]表示在t时刻结束的窗口，将整个时间序列分割成连续的短序列，此时kpi指标序列可表示为w
t
＝[w
t-(m-1)
×
l
,w
t-(m-2)
×
l
,...,w
t
]，m为根据需要设定的自然数。如此，获得连续窗口序列为kpi时间数据集序列。
[0079]
s204：将连续短窗口序列输入预设网络，提取所述关键性能指标序列的特征。
[0080]
对于获取的连续短窗口序列，将其输入到预设网络，提取所述关键性能指标序列的特征。示例性说明：将上述连续窗口序列w
t
＝[w
t-(m-1)
×
l
,w
t-(m-2)
×
l
,...,w
t
]输入变分自编码器进行学习，变分自编码器中的编码网络可以自动原始数据中更深层次的表示，不断学
习其动态变化规律，经训练可以得到原始序列的低维嵌入特征e
t
，其中代表kpi序列w
t
中第i个窗口的低维嵌入。其中，变分自编码器设置两层，第一层输入维度为64，第二层输出维度为32，将具有快速将具有快速收敛能力的relu函数作为激活函数。
[0081]
s205：解码和重构所述指标特征序列，生成重构序列。
[0082]
s206：根据所述重构序列，进行关键性能指标的异常检测。
[0083]
在本技术实施例中，步骤s201、s205和s206与步骤s101、s103和s104相同，这里不再论述。
[0084]
在本技术实施例提供的方法中，不仅可以自动提取数据隐藏特征的第一预设网络提取复杂多样的关键性能指标的有效特征，提高数据中心异常检测的准确度和异常检测效率。还考虑时间相关性，如此，可以进一步提高异常检测准确度。
[0085]
参见图3，为本技术实施例提供的第三种数据中心异常检测的方法流程图。该方法应用于银行数据中心系统，该方法至少包括以下步骤：
[0086]
s301：获取关键性能指标kpi序列。
[0087]
s302：标准化处理kpi序列，获得标准化kpi序列。
[0088]
s303：基于滑动窗口分割标准化关键性能指标序列，获取连续短窗口序列。
[0089]
s304：将连续短窗口序列输入变分自编码器，生成指标特征序列。
[0090]
s305：将所指标特征序列输入门控循环单元网络进行预测，生成预测序列。
[0091]
在本技术实施例中，可以将指标特征序列输入门控循环单元网络gru进行预测。相对于其他网络，比如长短时记忆网络lstm，除了保留时间跨度较长的序列信息之外，还能够提高网络的训练速度。关于gru的具体结构图，详见图4。
[0092]
s306：基于变分自编码器的解码网络，解码和重构所述预测序列，生成重构序列。
[0093]
s307：根据重构序列，进行关键性能指标的异常检测。
[0094]
示例性说明：关键性能指标序列为w
t
＝[x
t-l 1
,
…
,x
t
]，表示在t时刻结束的窗口。通过步骤s302～s303处理，获得连续窗口序列w
t
＝[w
t-(m-1)
×
l
,w
t-(m-2)
×
l
,...,w
t
]，m表示用于gru模型预测的不重叠窗口个数。将w
t
＝[w
t-(m-1)
×
l
,w
t-(m-2)
×
l
,...,w
t
]传入变分自编码器中进行学习。编码网络可自动提取时间序列数据更深层次的表示，不断学习其动态变化规律，经训练可以得到原始序列的低维嵌入特征e
t
，其中代表kpi序列w
t
中第i个窗口的低维嵌入。将编码得到的低维嵌入e
t
作为gru网络的输入，进行隐藏特征的预测。
[0095]
经编码网络产生的前m-1个低维嵌入作为gru网络的输入来训练模型。经过gru模型的预测，得到了后m-1个嵌入，表达形式如下式所示：
[0096][0097]
本发明将用于gru预测的窗口数m设置为12。在训练过程中，通过最小化最后一个窗口的预测误差来不断优化gru模型的参数，得到最优参数的同时使得预测结果达到最优。本发明采用了双层gru模型，前一层gru的输出作为后一层gru的输入，两层的神经元个数相同，都包含256个神经元。
[0098]
利用变分自编码器的解码网络对经过gru模型预测得到的后m-1个窗口数据进行解码，得到了重构序列表达形式如下式所示:
[0099][0100]
利用预设重构误差与重构序列和关键性能指标序列之差的映射关系：
[0101][0102]
得到重构误差。当重构误差大于预设误差阈值时，当前时间判断为异常。
[0103]
参见图4，为门控循环单元网络的结构示意图。由图4可知，该gru包括重置门和更新门。重置门和更新门的输出与当前时刻的输入x
t
和前一时刻的隐藏状态h
t-1
有关，用sigmoid函数计算输出，如下式所示。
[0104]
更新门：z
t
＝sigmoid(wz·
[h
t-1
,x
t
])
[0105]
重置门：r
t
＝sigmoid(wr·
[h
t-1
,x
t
])
[0106]
其中，w为权重参数。
[0107]
将当前时刻重置门的输出r
t
和前一时刻隐藏状态h
t-1
相乘，重置门中元素的值接近1，则保留前一时刻状态信息，若接近0，则忽略前一时刻信息，接着使用tanh激活函数计算候选隐藏状态，如下式所示。
[0108][0109]
时间步t的隐藏状态由当前时刻的更新门z
t
、前一时刻的隐藏状态h
t-1
和当前时刻的候选隐藏状态计算得出，如下式所示：
[0110][0111]
本技术实施例提供的一种数据中心异常检测方法，通过变分自编码器的自动挖掘数据间的隐藏特征的能力，以及gru的较强的时序预测能力，有效解决了kpi序列数据量庞大，复杂度高且时间相关性强导致无法准确提取有效特征的问题，进一步提升对数据中心关键性能指标异常的准确检测。
[0112]
本技术还提供了一种数据中心异常检测的装置。参见图5，为本技术实施例提供的一种数据中心异常检测装置500结构性示意图。应用于银行数据中心系统，该装置500包括：
[0113]
获取模块501，用于获取关键性能指标序列；所述关键性能指标序列包括数据中心的多个关键性能指标数据；
[0114]
特征提取模块502，用于利用预设网络提取所述关键性能指标序列的特征，生成指标特征序列，所述预设网络为自动提取数据隐藏特征的网络；
[0115]
重构模块503，用于解码和重构所述指标特征序列，生成重构序列；
[0116]
检测模块504，用于根据所述重构序列，进行关键性能指标的异常检测。
[0117]
可选的，所述预设网络为变分自编码器，所述特征提取模块，还用于将关键性能指标序列输入变分自编码器，自动提取所述关键性能指标序列的低维嵌入特征，生成指标特征序列。
[0118]
可选的，装置500还包括预测模块，其中，预测模块用于将所述指标特征序列输入门控循环单元网络进行预测，生成预测序列；所述预测序列为所述指标特征序列的预测序列。所述重构模块503还用于基于变分自编码器的解码网络，解码和重构所述预测序列，生成重构序列。
[0119]
可选的，装置500还包括数据预处理模块，所述数据预处理模块用于标准化处理所
述关键性能指标序列，获得标准化关键性能指标序列；基于滑动窗口分割所述标准化关键性能指标序列，获取连续短窗口序列；所述连续短窗口序列为关键性能时间数据集序列。特征提取模块502还用于将所述连续短窗口序列输入预设网络，提取所述关键性能指标序列的特征。
[0120]
可选的，检测模块504包括：
[0121]
计算单元，用于根据所述重构序列和所述关键性能指标序列，计算重构误差；所述重构误差为模型异常检测分数；
[0122]
第一响应单元，用于响应于所述重构误差大于预设误差阈值，确定所述数据中心的关键性能指标异常；
[0123]
第二响应单元，用于响应于所述重构误差不大于预设阈值，确定所述数据中心的关键性能指标正常。
[0124]
可选的，计算单元还用于预设重构误差与重构序列与关键性能指标序列之差的映射关系；根据所述映射关系，基于所述重构序列和所述关键性能指标序列，确定重构误差。
[0125]
本技术实施例提供的一种数据中心异常检测的装置。其中，获取单元501获取关键性能指标序列。特征提取单元502通过能够自动提取数据隐藏特征的第一预设网络提取关键性能指标序列的特征，生成指标特征序列。重构单元503通过解码和重构所述指标特征序列，生成重构序列。检测单元504根据重构序列判断关键性能指标是否异常。如此，通过能够自动提取数据隐藏特征的第一预设网络提取复杂多样的关键性能指标的有效特征，避免基于单一统计特征的异常检测算法难以提取复杂关键性能指标的有效特征的问题，提高了数据中心异常检测的准确度，且提高了异常检测效率。
[0126]
本技术实施例还提供了对应的生成设备以及计算机存储介质，用于实现本技术实施例提供的方案。
[0127]
其中，设备包括存储器和处理器，存储器用于存储指令或代码，处理器用于执行指令或代码，以使设备执行本技术任一实施例的一种数据中心异常检测的方法。
[0128]
所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本技术任一实施例所述的方法。
[0129]
本技术实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
[0130]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，rom)/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本技术各个实施例或者实施例的某些部分所述的方法。
[0131]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0132]
以上所述仅是本技术示例性的实施方式，并非用于限定本技术的保护范围。