一种数据中心预警的方法、装置及相关产品与流程

1.本技术涉及数据处理领域，尤其涉及一种数据中心预警的方法、装置及相关产品。


背景技术：

2.随着大数据技术和云计算技术的快速发展，金融行业数据中心逐渐成为各类数据的主要载体。越来越多的信息和服务汇聚金融行业数据中心进行处理，因此，对金融行业数据中心预警提出了更高的要求。
3.现有技术采用对服务器端内存、cpu、并发量及响应时间进行检测。然而这种监控预警方式仅依赖于指标数据的预制情况，未考虑其他侧数据且智能化不足，这使得监控告警准确度低。


技术实现要素：

4.有鉴于此，本技术提供了一种数据中心预警的方法、装置及相关产品，旨在通过将采集的系统侧、应用侧和用户侧指标数据输入至预设产品风险预测模型，进行监控告警，提高监控告警准确度，降低误报警率。
5.第一方面，本技术实施例提供了一种数据中心预警的方法，所述方法包括：
6.采集多个数据中心指标数据，所述数据中心指标数据包括系统侧指标数据、应用侧指标数据和用户侧指标数据；
7.将采集的所述数据中心指标数据输入产品风险预测模型，获取产品风险概率；所述产品风险预测模型为预先训练的模型，用于处理采集获取的所述数据中心指标数据，预测产品出现风险的概率；
8.响应于所述产品风险概率超过预设阈值，进行数据中心监控告警。
9.可选的，所述产品风险预测模型为通过以下方式得到：
10.将所述数据中心指标数据进行归一化处理；
11.基于lightgbm算法，对处理后的所述数据中心指标数据进行建模，得到产品风险预测模型。
12.可选的，所述将所述数据中心指标数据进行归一化处理之前，所述方法还包括：
13.对采集的所述数据中心指标数据进行清洗；
14.将清洗后的所述数据指标数据，按预设时间段进行数据叠加；
15.所述将所述数据中心指标数据进行归一化处理，包括：
16.将叠加后的所述数据中心指标数据进行归一化处理。
17.可选的，所述对处理后的所述数据中心指标数据进行建模，得到产品风险预测模型，包括：
18.对处理后的所述数据中心指标数据进行建模，获得初始产品风险预测模型；
19.基于预设评估指标对所述初始产品风险预测模型进行评估；所述预设评估指标包括受试者工作特征roc曲线和曲线下面积auc；
20.响应于所述预设评估指标满足预设要求，获得产品风险预测模型。
21.可选的，所述系统侧指标数据包括内存、cpu、并发量和响应时间。
22.可选的，所述应用侧指标数据为错误日志，所述错误日志包括发生时间和发生次数。
23.可选的，所述用户侧指标数据为客户中心投诉数据，所述客户中心投诉数据包括投诉产品、投诉时间和投诉问题。
24.第二方面，本技术实施例提供了一种数据中心预警的装置，所述装置包括：
25.采集单元，用于采集多个数据中心指标数据，所述数据中心指标数据包括系统侧指标数据、应用侧指标数据和用户侧指标数据；
26.输入单元，用于将采集的所述数据中心指标数据输入产品风险预测模型，获取产品风险概率；所述产品风险预测模型用于处理采集获取的所述数据中心指标数据，预测产品出现风险的概率；
27.告警单元，用于响应于所述产品概率超过预设阈值，进行数据中心监控告警。
28.第三方面，本技术实施例提供一种数据中心预警生成设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；
29.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面任一项所述的方法。
30.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储代码，所述代码被处理器执行时实现如第一方面中任一项数据中心预警的方法的步骤。
31.本技术提供了公开了一种数据中心预警的方法、装置及相关产品，在执行所述方法时：首先采集系统侧指标数据、应用侧指标数据和用户侧指标数据。然后将采集的指标数据输入产品风险预测模型，获取产品风险概率。当产品风险概率超过预设阈值时，进行数据中心监控告警。由于综合考虑系统侧、应用侧和用户侧数据，监控手段多样，且预测方式为产品风险预测模型为预先训练的模型。因此，可以避免现有技术监控手段单一且不智能造成的监控告警准确度低的问题，进而提高监控告警准确度和监控运维效率。
附图说明
32.为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本技术实施例提供的一种数据中心预警的方法流程图；
34.图2为本技术实施例提供的一种获得产品风险预测模型的方法流程图；
35.图3为本技术实施例提供的另一种数据中心预警的方法流程图；
36.图4为本技术实施例提供的一种数据中心预警的装置结构示意图。
具体实施方式
37.正如前文所述，现有技术关于金融行业数据中心的预警往往依赖于对服务器端内
存、cpu、并发量及响应时间进行监控，在具体监控告警时，仅依赖于指标数据的预制情况进行。未对其他侧，比如应用侧和用户侧的数据进行监控，而在实际场景中，这些数据对金融行业数据中心的预警极其重要。监控手段单一，且智能化不足，这使得监控告警准确度不足。
38.因此，本技术提出进行多指标数据联合监控告警的方式。首先采集系统侧指标数据、应用侧指标数据和用户侧指标数据。接着通过产品风险预测模型，对多指标数据进行智能分析，解决单一侧数据监控告警准确度低，且将智能化不足的问题。提高监控告警准确度和监控运维效率。
39.需要说明的是，本发明提供的数据中心预警的方法可用于人工智能领域、区块链领域、分布式领域、云计算领域、大数据领域、物联网领域、移动互联领域、数字孪生领域或金融领域。上述仅为示例，并不对本发明提供的数据中心预警的方法及装置的应用领域进行限定。
40.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.参见图1，为本技术实施例提供的一种数据中心预警的方法流程图，应用于银行系统数据预警中心。该方法至少包括以下步骤：
42.s101：采集多个数据中心指标数据。
43.在本技术实施例中，银行系统数据预警中心可以通过多种方式采集多个数据中心指标数据。比如，可以通过代码直接从计算机系统上获取内存、cpu等数据量，也可以通过api接口直接读取内存、cpu等指标数据。在本技术实施例中，数据中心指标数据包括系统侧指标数据、应用侧指标数据和用户侧指标数据。其中，系统侧指标数据为机器自身相关指标数据。在本技术实施例中，系统侧指标数据可以为机器内存、cpu、并发量和响应时间等。应用侧指标数据为应用记录相关指标数据，在本技术实施例中，应用侧指标数据可以为错误日志，包括发生时间和发生次数。用户侧指标数据为用户方相关指标数据，在本技术实施例中，用户侧指标数据为客户中心投诉数据，包括投诉产品、投诉时间和投诉问题。
44.在本技术实施例中，银行系统数据预警中心独立采集系统侧指标数据、应用侧指标数据和用户侧指标数据数据。且三侧指标数据通过时间戳关联。
45.s102：将采集的数据中心指标数据输入产品风险预测模型，获取产品风险概率。
46.在本技术实施例中，对于采集的数据中心指标数据，将其输入产品风险预测模型，获取产品风险概率。在本技术实施例中，产品风险预测模型为预先训练的模型，用于处理采集获取的所述数据中心指标数据，预测产品出现风险的概率。产品风险概率用于预测应用程序出现生成问题的风险。在本技术实施例中，将采集的各指标数据，通过产品风险预测模型处理，可直接得到产品风险概率。
47.在本技术实施例中，可以基于lgb算法对系统侧指标数据、应用侧指标数据和用户侧指标数据进行建模，得到产品风险预测模型。具体建模方式见图2。这里不再论述。利用上述产品风险预测模型进行产品风险预测。在本技术实施例中，也可以通过其他方式获得产品风险预测模型，比如基于xgboost算法对数据进行建模获得。
48.s103：响应于产品风险概率超过预设阈值，进行数据中心监控告警。
49.判断通过产品风险预测模型获取的产品风险概率是否超过预设阈值。如果超过预设阈值，表示该数据中心预测应用程序出现风险问题，需要进行数据中心监控告警。
50.如果产品风险概率未超过预设阈值，表示该数据中心预测应用程序未出现风险问题，不需要进行数据中心监控告警。
51.本技术提供了公开了一种数据中心预警的方法，首先采集系统侧指标数据、应用侧指标数据和用户侧指标数据。然后将采集的指标数据输入产品风险预测模型，获取产品风险概率。当产品风险概率超过预设阈值时，进行数据中心监控告警。由于综合考虑系统侧、应用侧和用户侧数据，监控手段多样，且预测方式为产品风险预测模型为预先训练的模型。因此，可以避免现有技术监控手段单一且不智能造成的监控告警准确度低的问题，提高监控告警准确度和监控运维效率。
52.参见图2，为本技术实施例提供的一种获得产品风险预测模型的方法流程图。该方法基于lgb算法。该方法至少包括以下步骤：
53.s201：对于采集数据中心指标数据进行归一化处理。
54.在本技术实施例中，可以采用min-max归一化处理方式，将数据同一映射到[0,1]上。详见下式：
[0055][0056]
其中，xs为归一化处理后的数值，x为原始数值，x
max
和x
min
为属性中最大值和最小值。
[0057]
s202：根据归一化处理后的数据计算初始梯度值。
[0058]
在本技术实施例中，初始梯度值计算公式如下：
[0059][0060]
其中，gi(x)为初始梯度值，λ为学习率，yi为归一化后的数组，f(x)为弱分类器。
[0061]
s203：建立决策树，指导叶子数目限制或所有叶子不能再分割。
[0062]
s204：计算直方图，并从直方图中获取分裂增益，确定最佳分裂特征g和最佳分裂特征阈值i。
[0063]
具体确定最佳分类特征g和分裂特征阈值i采用如下公式：
[0064][0065][0066]
其中，gj表示最佳分裂点，ij表示最佳分裂点的阈值，l
ij
表示第i棵树在j点分裂的损失值，c
ij
代表第i棵树在j点的特征比重。
[0067]
s205：根据最佳分类特征建立根节点，根据最佳分裂特征阈值进行样本切分。
[0068]
具体来讲，根据最佳分类特征建立根节点的方式为：
[0069]
s＝argmax(gi)，1≤i≤m
[0070]
node＝(s,gs,is)
[0071]
其中，s为将第i棵树在s点分割后形成的新的决策树，gs为决策树在s点的分裂特征，is为决策树在s点的分裂阈值，node为s决策树的根节点。
[0072]
s206：判断树深度是否低于预设树深度，若是，更新树的梯度值，进入步骤s203；若否，进入步骤s207。
[0073]
s207：训练结束，获得初始产品风险预测模型。
[0074]
s208：基于预设评估指标对所述初始产品风险预测模型进行评估。
[0075]
在本技术实施例中，预设评估指标包括受试者工作特征roc曲线和曲线下面积auc。即根据roc曲线和auc值判断初始产品风险预测模型。
[0076]
s209：响应于所述预设评估指标满足预设要求，获得产品风险预测模型。
[0077]
当预设评估指标满足预设要求时，即获得初始产品风险预测模型即满足要求的产品风险预测模型。当预设评估指标不满足预设要求时，则需要重新训练调整初始产品风险预测模型，调整后的初始产品风险预测模型即为满足要求的产品风险预测模型。
[0078]
示例性说明：假设预设评估指标为auc值，预设要求为预设auc值为0.95。即当获取的auc值大于0.95时，初始产品风险预测模型为满足要求的产品风险预测模型。
[0079]
针对不同侧的多个数据中心指标数据，由于数据在采集过程中，存在很多与指标无关的数据特征，而这些无关数据特征在输入产品风险预测模型时，会影响模型的运行效率。针对上述问题，参见图3，为本技术实施例提供的另一种数据中心预警的方法流程图，应用于银行系统数据预警中心。该方法至少包括以下步骤：
[0080]
s301：采集多个数据中心指标数据。
[0081]
在本技术实施例中，采集的数据中心指标数据包括系统侧指标数据、应用侧指标数据和用户侧指标数据。其中系统侧指标数据包括内存、cpu、并发量和响应时间。应用侧指标数据为错误日志，所述错误日志包括发生时间和发生次数。用户侧指标数据为客户中心投诉数据，所述客户中心投诉数据包括投诉产品、投诉时间和投诉问题。
[0082]
s302：对采集的所述数据中心指标数据进行清洗。
[0083]
在本技术实施例中，对于应用侧指标，通过定义各种正则表达式，提取日志文件中的信息，包括错误日志的发生时间和发生次数等特征。对于用户侧指标，使用nlp技术，提取出客户中心投诉数据中投诉产品、投诉时间和投诉问题等特征。去除其他无关的指标数据，提高模型工作效率。
[0084]
s303：将清洗后的所述数据指标数据，按预设时间段进行数据叠加。
[0085]
在本技术实施例中，对于清洗后的所述数据指标数据，将一个时间段内的数据叠加，以计算各指标数据的最大值、最小值等。
[0086]
示例性说明：假设预设时间段为5min。对于应用侧指标数据和用户侧指标数据，根据发生时间和发生次数，依照5min进行叠加。对于系统侧指标，将5min内的数据合并，计算各指标数据的最大值和最小值等。
[0087]
s304：将叠加后的所述数据指标数据进行归一化处理。
[0088]
s305：基于lightgbm算法，对处理后的所述数据中心指标数据进行建模，得到产品风险预测模型。
[0089]
s306：将采集多个数据中心指标数据输入产品风险预测模型，得到产品风险概率。
[0090]
s307：判断产品风险概率是否超过预设阈值。
[0091]
s308：若超过预设阈值，则进行数据中心监控告警。若不超过预设阈值，则不进行数据中心监控告警。
[0092]
在本技术实施例中，通过对采集的各指标数据进行清洗、去除，依照预设时间段进行数据叠加和归一化处理，再利用上述方式处理后的数据训练模型，训练模型的效率更高，在保证监控告警准确度的基础上，进一步提升模型的运行效率。
[0093]
针对上述实现方式，本技术实施例还提供了相应的装置。参见图4，为本技术实施例提供的一种数据中心预警的装置400结构示意图。应用于银行系统数据预警中心。该装置400至少包括：
[0094]
采集单元401，用于采集多个数据中心指标数据，所述数据中心指标数据包括系统侧指标数据、应用侧指标数据和用户侧指标数据；
[0095]
输入单元402，用于将采集的所述数据中心指标数据输入产品风险预测模型，获取产品风险概率；所述产品风险预测模型用于处理采集获取的所述数据中心指标数据，预测产品出现风险的概率；
[0096]
告警单元403，用于响应于所述产品概率超过预设阈值，进行数据中心监控告警。
[0097]
可选的，装置400还包括训练单元，所述训练单元包括：
[0098]
处理模块，用于将所述数据中心指标数据进行归一化处理；
[0099]
建模模块，用于基于lightgbm算法，对处理后的所述数据中心指标数据进行建模，得到产品风险预测模型。
[0100]
可选的，处理模块还用于：对采集的所述数据中心指标数据进行清洗；将清洗后的所述数据指标数据，按预设时间段进行数据叠加；将叠加后的所述数据指标数据进行归一化处理。
[0101]
可选的，建模模块还用于对处理后的所述数据中心指标数据进行建模，获得初始产品风险预测模型；基于预设评估指标对所述初始产品风险预测模型进行评估；所述预设评估指标包括受试者工作特征roc曲线和曲线下面积auc；响应于所述预设评估指标满足预设要求，获得产品风险预测模型。
[0102]
可选的，所述系统侧指标数据包括内存、cpu、并发量和响应时间。
[0103]
可选的，所述应用侧指标数据为错误日志，所述错误日志包括发生时间和发生次数。
[0104]
本技术提供了公开了一种数据中心预警的装置。其中，采集单元401采集系统侧指标数据、应用侧指标数据和用户侧指标数据。输入单元402将采集的指标数据输入产品风险预测模型，获取产品风险概率。告警单元403当产品风险概率超过预设阈值时，进行数据中心监控告警。由于综合考虑系统侧、应用侧和用户侧数据，监控手段多样，且预测方式为产品风险预测模型为预先训练的模型。因此，可以避免现有技术监控手段单一且不智能造成的监控告警准确度低的问题，进而提高监控告警准确度和监控运维效率。
[0105]
本技术实施例还提供了对应的生成设备以及计算机存储介质，用于实现本技术实施例提供的方案。
[0106]
其中，设备包括存储器和处理器，存储器用于存储指令或代码，处理器用于执行指令或代码，以使设备执行本技术任一实施例的一种数据中心预警的方法。
[0107]
所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本技术任一实施例所述的方法。
[0108]
本技术实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
[0109]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，rom)/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本技术各个实施例或者实施例的某些部分所述的方法。
[0110]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0111]
以上所述仅是本技术示例性的实施方式，并非用于限定本技术的保护范围。