硬件故障预测方法、装置、计算设备以及存储介质与流程

摘要: 本技术涉及计算机,特别涉及一种硬件故障预测方法、装置、计算设备以及存储介质。背景技术:1、硬件故障是指计算设备上的内存、硬盘等硬件发生的不可纠正错误(uncor...
硬件故障预测方法、装置、计算设备以及存储介质与流程

本技术涉及计算机,特别涉及一种硬件故障预测方法、装置、计算设备以及存储介质。

背景技术:

1、硬件故障是指计算设备上的内存、硬盘等硬件发生的不可纠正错误(uncorrectable error,uce),发生硬件故障一般会导致计算设备宕机,影响计算设备的正常运行,而对计算设备上的硬件进行硬件故障预测能够得到该硬件在未来一段时间内发生硬件故障的概率,相关技术人员根据该概率判断是否对该硬件进行更换或维护等操作,能够有效避免硬件发生硬件故障所带来的风险。

2、以上述硬件是内存为例,经人工统计和分析,内存发生可纠正错误(correctableerror,ce)的历史次数、内存使用时长和内存利用率等运行数据与内存发生可纠正错误之间具有强相关性,而内存发生可纠正错误又与内存发生硬件故障之间具有强相关性。基于此,目前,一种硬件故障预测方法是:计算设备以多个历史时间点对应的运行数据作为模型的输入,以每个历史时间点之后一段时长内内存是否发生硬件故障作为上述输入对应的标签,对神经网络模型进行训练,得到内存故障预测模型。之后,计算设备通过该内存故障预测模型,对当前时间点对应的运行数据进行处理,得到当前时间点之后一段时长内内存发生硬件故障的概率,以实现对硬件故障进行预测。

3、由于上述方法是以上述运行数据作为模型的输入来训练内存故障预测模型,而该运行数据与内存发生硬件故障之间的关联是人工统计得出的,该关联关系过于简单,因此,通过上述方法训练得到的内存故障预测模型性能较差,采用该内存故障预测模型进行硬件故障预测的准确性较低。

技术实现思路

1、本技术提供了一种硬件故障预测方法、装置、计算设备以及存储介质,能够提高硬件故障预测的准确性。该技术方案如下。

2、第一方面,提供了一种硬件故障预测方法,该方法应用于管理平台,该管理平台用于管理基础设施,基础设施中包括至少一个计算节点,该至少一个计算节点中的每个计算节点包括至少一个硬件,其中,基础设施上运行有判别式模型和硬件故障预测模型,判别式模型用于基于硬件的单个故障事件判别硬件发生硬件故障的概率。该方法包括:通过判别式模型,从目标硬件在第一时间段内的故障事件中确定至少一个显著故障事件,再对该至少一个显著故障事件进行编码,得到该至少一个显著故障事件的事件特征,通过硬件故障预测模型对该至少一个显著故障事件的事件特征进行处理,得到目标硬件的故障预测结果。其中,目标硬件属于上述至少一个硬件,故障预测结果指示目标硬件在第二时间段内发生硬件故障的概率,第一时间段位于第二时间段之前。由于判别式模型用于基于硬件的单个故障事件判别硬件发生硬件故障的概率,而显著故障事件所对应的发生硬件故障的概率符合条件,因此,该显著故障事件与目标硬件发生硬件故障之间的相关性较强,通过硬件故障预测模型对该至少一个显著故障事件的事件特征进行处理,能够得到较为准确的硬件故障预测结果,进而提高硬件故障预测的准确性。

3、可选地,上述通过判别式模型,从目标硬件在第一时间段内的故障事件中确定至少一个显著故障事件包括:对于目标硬件在第一时间段内的每个故障事件,通过判别式模型对该故障事件进行处理,得到该故障事件所对应的发生硬件故障的概率,基于目标硬件在第一时间段内的故障事件所对应的发生硬件故障的概率,从目标硬件在第一时间段内的故障事件中确定至少一个显著故障事件。其中,故障事件所对应的发生硬件故障的概率指示目标硬件在第三时间段内发生硬件故障的概率,第三时间段是发生故障事件之后的时间段。由于故障事件所对应的发生硬件故障的概率能够反映故障事件与硬件发生硬件故障之间的关联程度,因此,通过比较故障事件对应的概率能够筛选出与硬件发生硬件故障强相关的故障事件,根据与硬件发生硬件故障强相关的故障事件来进行硬件故障预测,能够提高硬件故障预测的准确性。

4、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对目标硬件在第一时间段内最靠近当前时间点的故障事件(称为当前事件)进行编码,得到目标硬件的单一事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到目标硬件的故障预测结果,包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和单一事件特征进行处理,得到目标硬件的故障预测结果。由于上述当前事件对应的时间点与目标硬件在当前时间点之后的一段时间最为接近,因此,当前事件与目标硬件在当前时间点之后一段时间内的状态之间具有较强的相关性,从该当前事件中提取出的单一事件特征也与目标硬件在当前时间点之后一段时间内的状态之间具有较强的相关性,后续结合该单一事件特征对目标硬件进行硬件故障预测,能够提高硬件故障预测的准确性。

5、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对目标硬件在第一时间段内的故障事件进行统计,得到目标硬件的聚合事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到目标硬件的故障预测结果,包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到目标硬件的故障预测结果。该过程通过对第一时间段内的所有故障事件进行聚合处理,得到聚合事件特征,能够从第一时间段内的故障事件中提取出尽可能多的与硬件发生硬件故障相关的特征,避免遗漏特征,后续结合该聚合事件特征对目标硬件进行硬件故障预测,能够提高硬件故障预测的准确性。

6、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对目标硬件在第一时间段内的故障事件进行聚合处理,得到目标硬件的聚合事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到目标硬件的故障预测结果,包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到目标硬件的故障预测结果。该过程通过对第一时间段内的所有故障事件进行聚合处理,得到聚合事件特征,能够从第一时间段内的故障事件中提取出尽可能多的与硬件发生硬件故障相关的特征,避免遗漏特征,后续结合该聚合事件特征对目标硬件进行硬件故障预测,能够提高硬件故障预测的准确性。

7、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对目标硬件在第一时间段内最靠近当前时间点的故障事件进行编码,得到目标硬件的单一事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到目标硬件的故障预测结果,包括:通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行处理,得到目标硬件的故障预测结果。该过程结合显著事件的事件特征、单一事件特征和聚合事件特征进行硬件故障预测,实现根据多粒度的特征进行预测,即结合多维度与硬件故障相关的信息进行硬件故障预测,能够提高硬件故障预测的准确性。

8、可选地,上述通过硬件预测模型对至少一个显著故障事件的事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行聚合,得到聚合特征,对该聚合特征进行处理,得到目标硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

9、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和单一事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和单一事件特征进行聚合,得到聚合特征,对该聚合特征进行处理,得到目标硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征和单一事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征和单一事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

10、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对至少一个显著故障事件的事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到目标硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征和聚合事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征和聚合事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

11、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到目标硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

12、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对目标硬件在多个第一时间段对应的至少一个显著故障事件的事件特征进行聚合处理,得到聚合特征,对聚合特征进行处理,得到目标硬件的故障预测结果,多个第一时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

13、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和单一事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对目标硬件在多个第一时间段对应的至少一个显著故障事件的事件特征和单一事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到目标硬件的故障预测结果,多个第一时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

14、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对目标硬件在多个第一时间段对应的至少一个显著故障事件的事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到目标硬件的故障预测结果,多个第一时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

15、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行处理,得到目标硬件的故障预测结果包括:通过硬件故障预测模型对目标硬件在多个第一时间段对应的至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到目标硬件的故障预测结果,多个第一时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征进行硬件故障预测,能够进一步提高硬件故障预测的准确性。

16、第二方面,提供了一种硬件故障预测模型的训练方法,该方法包括:通过判别式模型,从硬件在第一样本时间段内的样本故障事件中确定至少一个显著故障事件,再对该至少一个显著故障事件进行编码,得到该至少一个显著故障事件的事件特征,通过硬件故障预测模型对该至少一个显著故障事件的事件特征进行处理,得到硬件的故障预测结果,基于硬件的故障预测结果和硬件在第二样本时间段内的实际故障情况,对硬件故障预测模型进行训练。其中,硬件属于上述至少一个硬件,故障预测结果指示硬件在第二时间段内发生硬件故障的概率,第一样本时间段位于第二时间段之前。由于判别式模型用于基于硬件的单个样本故障事件判别硬件发生硬件故障的概率,而显著故障事件所对应的发生硬件故障的概率符合条件,因此,该显著故障事件与硬件发生硬件故障之间的相关性较强,基于该相关性较强的显著故障事件来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。并且,该模型能够应用于不同型号、不同代次的硬件,通用性较强。

17、可选地,上述通过判别式模型,从硬件在第一样本时间段内的样本故障事件中确定至少一个显著故障事件包括:对于硬件在第一样本时间段内的每个样本故障事件,通过判别式模型对该样本故障事件进行处理,得到该样本故障事件所对应的发生硬件故障的概率,基于硬件在第一样本时间段内的样本故障事件所对应的发生硬件故障的概率,从硬件在第一样本时间段内的样本故障事件中确定至少一个显著故障事件。其中,样本故障事件所对应的发生硬件故障的概率指示硬件在第三时间段内发生硬件故障的概率,第三时间段是发生故障事件之后的时间段。由于样本故障事件所对应的发生硬件故障的概率能够反映样本故障事件与硬件发生硬件故障之间的关联程度,因此,通过比较样本故障事件对应的概率能够筛选出与硬件发生硬件故障强相关的样本故障事件,基于与硬件发生硬件故障强相关的样本故障事件来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

18、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对硬件在第一样本时间段内最靠近当前时间点的样本故障事件(称为当前事件)进行编码,得到硬件的单一事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到硬件的故障预测结果,包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和单一事件特征进行处理,得到硬件的故障预测结果。由于上述当前事件对应的时间点与硬件在当前时间点之后的一段时间最为接近,因此,当前事件与硬件在当前时间点之后一段时间内的状态之间具有较强的相关性,从该当前事件中提取出的单一事件特征也与硬件在当前时间点之后一段时间内的状态之间具有较强的相关性,基于该单一事件特征和显著故障事件的事件特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

19、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对硬件在第一样本时间段内的样本故障事件进行统计,得到硬件的聚合事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到硬件的故障预测结果,包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到硬件的故障预测结果。该过程通过对第一样本时间段内的所有样本故障事件进行聚合处理,得到聚合事件特征,能够从第一样本时间段内的样本故障事件中提取出尽可能多的与硬件发生硬件故障相关的特征,避免遗漏特征,基于该聚合事件特征和显著故障事件的事件特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

20、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对硬件在第一样本时间段内的样本故障事件进行聚合处理,得到硬件的聚合事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到硬件的故障预测结果,包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到硬件的故障预测结果。该过程通过对第一样本时间段内的所有故障事件进行聚合处理,得到聚合事件特征,能够从第一样本时间段内的样本故障事件中提取出尽可能多的与硬件发生硬件故障相关的特征,避免遗漏特征,基于该聚合事件特征和显著故障事件的事件特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

21、可选地,在通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行处理之前,上述方法还包括:对硬件在第一样本时间段内最靠近当前时间点的样本故障事件进行编码,得到硬件的单一事件特征,基于此,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到硬件的故障预测结果,包括:通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行处理,得到硬件的故障预测结果。该过程结合显著事件的事件特征、单一事件特征和聚合事件特征进行硬件故障预测,实现根据多粒度的特征来训练模型,即结合多维度与硬件故障相关的信息进行模型训练,能够提高硬件故障预测模型的性能。

22、可选地,上述通过硬件预测模型对至少一个显著故障事件的事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征进行聚合,得到聚合特征,对该聚合特征进行处理,得到硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

23、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和单一事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对上述至少一个显著故障事件的事件特征和单一事件特征进行聚合,得到聚合特征,对该聚合特征进行处理,得到硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征和单一事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征和单一事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

24、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对至少一个显著故障事件的事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征和聚合事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征和聚合事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

25、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到硬件的故障预测结果。该过程通过将至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征聚合为聚合特征,能够从至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征中进一步提取与硬件故障相关的信息,根据提取出的聚合特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

26、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对硬件在多个第一样本时间段对应的至少一个显著故障事件的事件特征进行聚合处理,得到聚合特征,对聚合特征进行处理,得到硬件的故障预测结果,多个第一样本时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

27、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和单一事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对硬件在多个第一样本时间段对应的至少一个显著故障事件的事件特征和单一事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到硬件的故障预测结果,多个第一样本时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

28、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征和聚合事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对硬件在多个第一样本时间段对应的至少一个显著故障事件的事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到硬件的故障预测结果,多个第一样本时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

29、可选地,上述通过硬件故障预测模型对至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行处理,得到硬件的故障预测结果包括:通过硬件故障预测模型对硬件在多个第一样本时间段对应的至少一个显著故障事件的事件特征、单一事件特征和聚合事件特征进行聚合,得到聚合特征,对聚合特征进行处理,得到硬件的故障预测结果,多个第一样本时间段是结束时间点相同且时间尺度不同的多个时间段。该过程结合不同时间尺度对应的事件特征来训练硬件故障预测模型,能够提高硬件故障预测模型的性能。

30、第三方面,提供了一种硬件故障预测装置,用于执行上述硬件故障预测方法。具体地,该硬件故障预测装置包括用于执行上述第一方面或上述第一方面的任一种可选方式提供的硬件故障预测方法的功能模块。

31、第四方面,提供了一种硬件故障预测模型的训练装置,用于执行上述硬件故障预测模型的训练方法。具体地,该硬件故障预测模型的训练装置包括用于执行上述第二方面或上述第二方面的任一种可选方式提供的硬件故障预测模型的训练方法的功能模块。

32、第五方面,提供了一种计算设备或计算设备集群,该计算设备包括处理器,该处理器用于执行程序代码,使得计算设备或计算设备集群执行以实现如上述硬件故障预测方法所执行的操作。

33、第六方面,提供了一种计算设备或计算设备集群,该计算设备包括处理器,该处理器用于执行程序代码,使得计算设备或计算设备集群执行以实现如上述硬件故障预测模型的训练方法所执行的操作。

34、第七方面,提供了一种计算机可读存储介质,该存储介质中存储有至少一段程序代码,该程序代码由处理器读取以使计算设备执行如上述硬件故障预测方法所执行的操作。

35、第八方面,提供了一种计算机可读存储介质,该存储介质中存储有至少一段程序代码,该程序代码由处理器读取以使计算设备执行如上述硬件故障预测模型的训练方法所执行的操作。

36、第九方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括程序代码,该程序代码存储在计算机可读存储介质中,计算设备的处理器从计算机可读存储介质读取该程序代码,处理器执行该程序代码,使得该计算设备执行上述硬件故障预测方法所执行的操作。

37、第十方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括程序代码,该程序代码存储在计算机可读存储介质中,计算设备的处理器从计算机可读存储介质读取该程序代码,处理器执行该程序代码,使得该计算设备执行上述硬件故障预测模型的训练方法所执行的操作。

38、本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。