服务节点故障处理方法、装置、设备及存储介质与流程

本申请涉及云计算，尤其涉及一种服务节点故障处理方法、装置、设备及存储介质。

背景技术：

1、在云服务运行过程中，服务节点常因用户并发过大或执行大量计算密集型任务导致内存耗尽，进而引发操作系统内核挂起，表现为服务节点宕机、虚拟机无响应，运维人员无法正常登录虚拟机进行排查修复，该场景即节点卡死。节点卡死故障具有不确定性，节点可能在短暂卡死后自行恢复，也可能演变为持续卡死而无法自动恢复。

2、现有针对云服务故障的自动化处理多为通用型故障处理框架，缺乏针对节点卡死场景的定制化能力，前置校验维度较为单一，未考虑节点短时间内自行恢复的可能性，往往在节点即将自行恢复时仍触发不必要的自愈干预，导致预期外的虚拟机重启，影响服务稳定性。

技术实现思路

1、本申请的主要目的在于提供一种服务节点故障处理方法、装置、设备及存储介质，旨在解决现有针对云服务故障的自动化处理未考虑节点短时间内自行恢复，导致预期外的虚拟机重启，影响服务稳定性的可能性的技术问题。

2、为实现上述目的，本申请提出一种服务节点故障处理方法，所述的方法包括：

3、在监测到服务节点满足故障触发条件的情况下，确定与所述服务节点对应的自愈任务；

4、基于所述自愈任务对所述服务节点进行前置校验；

5、在所述前置校验通过后，基于所述服务节点的虚拟机类型对所述服务节点执行重启操作；

6、对重启后的服务节点进行检查，得到检查结果序列，并根据所述检查结果序列判断所述服务节点是否自愈成功。

7、可选地，所述确定与所述服务节点对应的自愈任务，包括：

8、查询所述服务节点当前是否存在正在执行的第一自愈任务；

9、在所述服务节点不存在正在执行的第一自愈任务时，查询所述服务节点是否存在与当前故障对应的执行失败的第二自愈任务；

10、在存在所述第二自愈任务时，重置所述第二自愈任务，并将重置后的第二自愈任务作为所述服务节点的自愈任务；

11、在不存在所述第二自愈任务时，将所述服务节点的故障代码与预配置的自愈配置进行匹配，并根据匹配结果为所述服务节点生成自愈任务。

12、可选地，所述基于所述自愈任务对所述服务节点进行前置校验，包括：

13、检测所述服务节点的虚拟机的连通状态；

14、在所述虚拟机处于未连通状态时，通过所述服务节点的辅助服务进行心跳探测，得到心跳探测结果；

15、在所述心跳探测结果指示心跳探测失败时，获取所述服务节点在历史时间段内的服务状态监测数据；

16、基于所述服务状态监测数据，判断所述服务节点的目标服务在所述历史时间段内是否处于不可用状态；

17、若所述目标服务在所述历史时间段内处于不可用状态，则获取所述服务节点的虚拟机的纳管状态数据；

18、在所述纳管状态数据指示所述虚拟机未正常上报状态时，判定所述前置校验通过。

19、可选地，所述在所述纳管状态数据指示所述虚拟机未正常上报状态时，判定所述前置校验通过之后，还包括：

20、按照预设周期重复执行所述前置校验，得到校验结果；

21、若所述校验结果中存在至少一次未校验通过，则判定所述服务节点自愈成功，终止所述服务节点的自愈任务；

22、若所述校验结果中不存在未校验通过，则允许所述服务节点执行所述重启操作。

23、可选地，所述在所述前置校验通过后，基于所述服务节点的虚拟机类型对所述服务节点执行重启操作，包括：

24、获取所述服务节点的虚拟机类型；

25、根据所述虚拟机类型确定重启接口和对应的重启参数；

26、调用虚拟机管理平台，通过所述重启接口和所述重启参数对所述服务节点执行重启操作。

27、可选地，所述对重启后的服务节点进行检查，得到检查结果序列，包括：

28、基于预设回复周期查询所述重启操作的任务状态；

29、在所述重启操作的任务状态为失败时，判定当前检查未通过，并返回所述基于预设回复周期查询所述重启操作的任务状态的步骤；

30、在所述重启操作的任务状态为成功时，检测所述服务节点中目标服务的运行状态；

31、在所述目标服务的运行状态为运行中时，向所述目标服务发送功能验证请求；

32、根据所述功能验证请求的响应结果判定当前检查是否通过，得到检查结果序列。

33、可选地，所述根据所述检查结果序列判断所述服务节点是否自愈成功，包括：

34、若所述检查结果序列中存在至少一次检查通过，则判定所述服务节点自愈成功，并结束所述自愈任务；

35、若在所述检查结果序列中不存在检查通过，则判定所述服务节点自愈失败，并输出告警通知。

36、此外，为实现上述目的，本申请还提出一种服务节点故障处理装置，所述服务节点故障处理装置包括：

37、任务确定模块，用于在监测到服务节点满足故障触发条件的情况下，确定与所述服务节点对应的自愈任务；

38、前置校验模块，用于基于所述自愈任务对所述服务节点进行前置校验；

39、重启执行模块，用于在所述前置校验通过后，基于所述服务节点的虚拟机类型对所述服务节点执行重启操作；

40、自愈判断模块，用于对重启后的服务节点进行检查，得到检查结果序列，并根据所述检查结果序列判断所述服务节点是否自愈成功。

41、此外，为实现上述目的，本申请还提出一种服务节点故障处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的服务节点故障处理方法的步骤。

42、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的服务节点故障处理方法的步骤。

43、本申请在监测到服务节点满足故障触发条件时，通过前置校验在执行重启操作前确认服务节点是否真正处于不可自行恢复的卡死状态，能够在触发重启操作前有效区分节点短暂抖动后可自行恢复的场景与节点持续卡死需人工或自动干预的真实故障场景，从而避免因节点瞬时波动或短暂无响应而误触发不必要的重启操作，显著提升了自愈决策的准确性和自愈操作的合理性。

1.一种服务节点故障处理方法，其特征在于，所述服务节点故障处理方法包括：

2.如权利要求1所述的服务节点故障处理方法，其特征在于，所述确定与所述服务节点对应的自愈任务，包括：

3.如权利要求1所述的服务节点故障处理方法，其特征在于，所述基于所述自愈任务对所述服务节点进行前置校验，包括：

4.如权利要求3所述的服务节点故障处理方法，其特征在于，所述在所述纳管状态数据指示所述虚拟机未正常上报状态时，判定所述前置校验通过之后，还包括：

5.如权利要求1所述的服务节点故障处理方法，其特征在于，所述在所述前置校验通过后，基于所述服务节点的虚拟机类型对所述服务节点执行重启操作，包括：

6.如权利要求1所述的服务节点故障处理方法，其特征在于，所述对重启后的服务节点进行检查，得到检查结果序列，包括：

7.如权利要求6所述的服务节点故障处理方法，其特征在于，所述根据所述检查结果序列判断所述服务节点是否自愈成功，包括：

8.一种服务节点故障处理装置，其特征在于，所述装置包括：

9.一种服务节点故障处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的服务节点故障处理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的服务节点故障处理方法的步骤。