一种基于异构日志语义融合的故障预测方法和相关设备与流程

摘要: 本申请涉及分布式计算机集群,尤其涉及一种基于异构日志语义融合的故障预测方法和相关设备。背景技术:1、随着互联网快速发展,业务数据量、并发访问量爆发式增长,单机架...
一种基于异构日志语义融合的故障预测方法和相关设备与流程

本申请涉及分布式计算机集群,尤其涉及一种基于异构日志语义融合的故障预测方法和相关设备。

背景技术:

1、随着互联网快速发展,业务数据量、并发访问量爆发式增长,单机架构无法满足算力、并发以及存储的需求。为了解决上述问题,将多台服务器通过局域网或互联网互连,组成分布式计算机集群。而分布式计算机集群中的计算机较多,需要定时的检测分布式计算机集群中的计算机是否出现故障。

2、示例性技术中,采用分布式计算机集群中的计算机的日志信息,预测计算机是否出现故障。

3、但上述方式,仅通过分布式计算机集群中主节点的日志信息,预测分布式计算机集群中计算机是否出现故障,此种方式依赖的信息维度单一,故障预测准确性较低。

技术实现思路

1、基于上述技术现状,本申请提供一种基于异构日志语义融合的故障预测方法和相关设备,用于解决故障预测准确性较低的问题。

2、为了达到上述技术目的,本申请具体提出如下技术方案:

3、第一方面,本申请提供了一种基于异构日志语义融合的故障预测方法,包括:

4、获取分布式计算机集群对应的异构图,所述异构图包括多个具有连接关系的节点,多个所述节点包括表征分布式计算机集群中计算机的主机节点、表征所述分布式计算机集群中各个目标组件的日志的节点以及时间片节点;

5、根据所述主机节点相邻的节点的重要性权重确定所述主机节点的目标表示向量;

6、将所述目标表示向量输入至预测模型,得到所述预测模型输出的所述主机节点的故障概率值;

7、在所述故障概率值大于预设阈值的情况下,确定所述主机节点在所述分布式计算机集群中所对应的计算机出现故障。

8、在一些实施方式中,所述根据所述主机节点相邻的节点的重要性权重确定所述主机节点的目标表示向量,包括:

9、根据所述主机节点相邻的第一节点的重要性权重,确定第一表示向量;

10、根据所述第一节点相邻的第二节点的重要性权重,确定第二表示向量;

11、根据所述第一表示向量以及所述第二表示向量,确定所述主机节点的目标表示向量。

12、在一些实施方式中,所述获取分布式计算机集群对应的异构图,包括:

13、获取所述分布式计算机集群中各个目标组件的日志信息,并将每个所述日志信息转换成日志语义向量;

14、根据各个所述日志语义向量以及所述日志语义向量对应的日志信息的元数据,构建所述异构图,所述元数据包括产生所述日志信息的计算机以及所述日志信息的生成时间。

15、在一些实施方式中,所述将每个所述日志信息转换成日志语义向量,包括:

16、对所述日志信息进行分词;

17、将分词后的所述日志信息输入至编码模型,得到所述编码模型输出的所述日志语义向量。

18、在一些实施方式中,所述确定所述主机节点在所述分布式计算机集群中所对应的计算机出现故障之后,还包括:

19、在所述主机节点所相邻的各个第一节点中,确定目标节点,所述目标节点用于指示大于预设权重的重要性权重对应的第一节点;

20、根据所述目标节点对应的日志信息以及元数据,确定故障根因信息;

21、输出所述故障根因信息。

22、在一些实施方式中,所述根据所述目标节点对应的日志信息以及元数据,确定故障根因信息之后,还包括:

23、根据所述故障根因信息,查询故障修复代码;

24、将所述故障修复代码中的占位符,替换为所述预测模型输出的真实值,得到故障修复指令;

25、将所述故障修复指令发送至所述分布式计算机集群中的目标计算机,以供所述目标计算机基于所述故障修复指令对出现故障的计算机进行修复。

26、在一些实施方式中,所述故障修复指令为多个,所述将所述故障修复指令发送至所述分布式计算机集群中的目标计算机,包括:

27、根据各个所述故障修复指令对应的故障根因信息的重要性权重,对各个所述故障修复指令进行排序,得到指令执行清单;

28、将所述指令执行清单,发送至所述目标计算机。

29、第二方面,本申请提供了一种故障预测装置,包括存储器和处理器,其中,

30、所述存储器与所述处理器连接,用于存储程序;

31、所述处理器用于通过运行所述存储器中的程序,实现如第一方面或者第一方面任一实现方式所述的基于异构日志语义融合的故障预测方法。

32、第三方面,本申请提供了一种计算机程序产品,包括计算机指令,所述计算机指令在被处理器执行时,实现如第一方面或者第一方面任一实现方式所述的基于异构日志语义融合的故障预测方法。

33、第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如第一方面或者第一方面任一实现方式所述的基于异构日志语义融合的故障预测方法。

34、本申请实施例提供的一种基于异构日志语义融合的故障预测方法和相关设备,获取分布计算机集群中计算机、各个目标组件的日志以及时间片节点所构成的异构图,并确定异构图中每个节点的重要性权重,基于主机节点所相邻的节点的重要性权重确定主机节点的目标表示向量,将目标表示向量输入至预测模型得到主机节点的故障概率值,若是故障概率值大于预设阈值,则可确定主机节点在分布式计算机集群中的计算机出现故障。本申请中,基于分布式计算机集群中的各个目标组件的日志、主机节点以及时间片节点等多维信息构建的异构图,确定分布式计算机集群中的计算机是否出现故障,相比于现有技术中依赖单一维度的信息,提高了故障预测的准确性。

1.一种基于异构日志语义融合的故障预测方法,其特征在于,包括:

2.根据权利要求1所述的基于异构日志语义融合的故障预测方法,其特征在于,所述根据所述主机节点相邻的节点的重要性权重确定所述主机节点的目标表示向量,包括:

3.根据权利要求1所述的基于异构日志语义融合的故障预测方法,其特征在于,所述获取分布式计算机集群对应的异构图,包括:

4.根据权利要求3所述的基于异构日志语义融合的故障预测方法,其特征在于,所述将每个所述日志信息转换成日志语义向量,包括:

5.根据权利要求1所述的基于异构日志语义融合的故障预测方法,其特征在于,所述确定所述主机节点在所述分布式计算机集群中所对应的计算机出现故障之后,还包括:

6.根据权利要求5所述的基于异构日志语义融合的故障预测方法,其特征在于,所述根据所述目标节点对应的日志信息以及元数据,确定故障根因信息之后,还包括:

7.根据权利要求6所述的基于异构日志语义融合的故障预测方法,其特征在于,所述故障修复指令为多个,所述将所述故障修复指令发送至所述分布式计算机集群中的目标计算机,包括:

8.一种故障预测装置,其特征在于,包括存储器和处理器,其中,

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如权利要求1-7中任一项所述的基于异构日志语义融合的故障预测方法。

10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令在被处理器执行时,实现如权利要求1-7中任一项所述的基于异构日志语义融合的故障预测方法。