一种分布式集群故障处理方法、装置、设备及介质与流程

1.本技术涉及分布式存储技术领域，特别是涉及一种分布式集群故障处理方法、装置、设备及介质。


背景技术：

2.随着云计算和大数据在现代社会中的飞速发展，实际生产生活中所积累的生产资料等等各类数据也呈指数级增长，为了使得快速增加的数据得到妥善存储，海量存储技术应运而生，并在互联网发展中越发成为不可或缺的一部分。因此，在分布式集群中，时刻要处理大量的数据及计算量，当分布式集群发生故障，不能得到及时的处理，也不能对发生的故障进行预防，此时，将对分布式集群造成不可估量的损失。
3.鉴于上述存在的问题，寻求如何预防分布式集群发生故障是本领域技术人员竭力解决的问题。


技术实现要素：

4.本技术的目的是提供一种分布式集群故障处理方法，用于预防分布式集群发生故障。
5.为解决上述技术问题，本技术提供一种分布式集群故障处理方法，包括：
6.确定待检测功能；
7.采集与待检测功能对应的服务命令；
8.判断服务命令是否处于异常状态；
9.若服务命令处于异常状态，则识别异常状态对应的故障；
10.判断故障是否属于异常库，其中，异常库为存储有异常状态对应的故障的处理方案；
11.若故障属于异常库，则按照处理方案修复处于异常状态的服务命令。
12.优选地，确定待检测功能包括：
13.获取全部功能的使用频率；
14.将功能按照使用频率进行排序，得到功能使用序列；
15.按照功能使用序列获取预设个数的功能；
16.将预设个数的功能确定为待检测功能。
17.优选地，当服务命令处于异常状态时，识别异常状态对应的故障包括：
18.获取异常状态对应的异常信息；
19.根据异常信息确定当前异常类型；
20.根据当前异常类型确定故障。
21.优选地，当故障不属于异常库，将异常信息记录并存储至异常库中。
22.优选地，在将异常信息记录并存储至异常库中之后，还包括：
23.利用机器学习算法记录不属于异常库的故障的处理方案；
24.将不属于异常库的故障的处理方案添加至异常库。
25.优选地，在按照处理方案修复处于异常状态的服务命令之后，还包括：
26.输出表征完成修复的提示信息。
27.优选地，确定待检测功能包括：
28.按照预设时间定期确定待检测功能。
29.为解决上述技术问题，本技术还提供了一种分布式集群故障处理装置，包括：
30.第一确定模块，用于确定待检测功能；
31.采集模块，用于采集与待检测功能对应的服务命令；
32.第一判断模块，用于判断服务命令是否处于异常状态；
33.若服务命令处于异常状态，则触发识别模块，用于识别异常状态对应的故障；
34.第二判断模块，用于判断故障是否属于异常库，其中，异常库为存储有异常状态对应的故障的处理方案；
35.若故障属于异常库，则触发修复模块，用于按照处理方案修复处于异常状态的服务命令。
36.此外，该装置还包括以下模块：
37.其中，确定待检测功能包括：
38.第一获取模块，用于获取全部功能的使用频率；
39.排序模块，用于将功能按照使用频率进行排序，得到功能使用序列；
40.第二获取模块，用于按照功能使用序列获取预设个数的功能；
41.第二确定模块，用于将预设个数的功能确定为待检测功能。
42.当服务命令处于异常状态时，识别异常状态对应的故障包括：
43.第三获取模块，用于获取异常状态对应的异常信息；
44.第三确定模块，用于根据异常信息确定当前异常类型；
45.第四确定模块，用于根据当前异常类型确定故障。
46.当故障不属于异常库，触发存储模块，用于将异常信息记录并存储至异常库中。
47.在将异常信息记录并存储至异常库中之后，还包括：
48.记录模块，用于利用机器学习算法记录不属于异常库的故障的处理方案；
49.添加模块，用于将不属于异常库的故障的处理方案添加至异常库。
50.在按照处理方案修复处于异常状态的服务命令之后，还包括：
51.输出模块，用于输出表征完成修复的提示信息。
52.其中，确定待检测功能包括：
53.第五确定模块，用于按照预设时间定期确定待检测功能。
54.为解决上述技术问题，本技术还提供了一种分布式集群故障处理设备，包括：
55.存储器，用于存储计算机程序；
56.处理器，用于指向计算机程序，实现分布式集群故障处理方法的步骤。
57.为解决上述技术问题，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现上述全部分布式集群故障处理方法的步骤。
58.本技术所提供的一种分布式集群故障处理方法，包括：确定待检测功能；采集与待
检测功能对应的服务命令；判断服务命令是否处于异常状态；若服务命令处于异常状态，则识别异常状态对应的故障；判断故障是否属于异常库，其中，异常库为存储有异常状态对应的故障的处理方案；若故障属于异常库，则按照处理方案修复处于异常状态的服务命令。通过判断服务命令是否处于异常状态，并根据处于异常状态的服务命令识别其对应的即将要出现的故障，通过异常库存储的故障的处理方案修复处于异常状态的服务命令，由此实现预防分布式集群发生故障，避免由于故障带来的巨大损失。
59.本技术还提供了一种分布式集群故障处理装置、设备及介质，效果同上。
附图说明
60.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
61.图1为本技术实施例所提供的一种分布式集群故障处理方法流程图；
62.图2为本技术实施例所提供的一种分布式集群故障处理装置结构图；
63.图3为本技术实施例所提供的一种分布式集群故障处理设备结构图。
具体实施方式
64.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本技术保护范围。
65.本技术的核心是提供一种分布式集群故障处理方法、装置、设备及介质，其能够预防分布式集群发生故障。
66.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。
67.图1为本技术实施例所提供的一种分布式集群故障处理方法流程图。如图1所示，分布式集群故障处理方法包括：
68.s10：确定待检测功能。
69.其中，确定待检测功能包括：
70.获取全部功能的使用频率；
71.将功能按照使用频率进行排序，得到功能使用序列；
72.按照功能使用序列获取预设个数的功能；
73.将预设个数的功能确定为待检测功能。
74.需要说明的是，还可以将全部功能按照优先级排序，获取优先级靠前的功能，将这样的功能确定为待检测功能。还需要说明的是，预设个数可以为任意自然数，但在实际应用中，一般将该预设个数设置为不超过10的自然数，一般可取3，也就意味着，按照使用频率或优先级排序，取前3个功能，将获取到的3个功能确定为待检测功能。此外，还可以按照预设时间定期确定待检测功能。其中，预设时间可以为30min，1h，一周等等，为了能够使得该方法能够及时预警，一般将预设时间设置为1h。
75.s11：采集与待检测功能对应的服务命令。
76.s12：判断服务命令是否处于异常状态。
77.当服务命令处于异常状态时，进入步骤s13：识别异常状态对应的故障。
78.其中，异常状态可以是出现warning或某些进程占用内存过高，由或者是某些进程出现动荡(不稳定)等等。
79.其中，当服务命令处于异常状态时，识别异常状态对应的故障包括：
80.获取异常状态对应的异常信息；
81.根据异常信息确定当前异常类型；
82.根据当前异常类型确定故障。
83.需要说明的是，异常类型是包含与异常信息中的，除此之外，异常信息还可以包括存在异常的服务节点等信息。
84.s14：判断故障是否属于异常库。
85.其中，异常库为存储有异常状态对应的故障的处理方案。
86.当故障属于异常库时，进入步骤s15：按照处理方案修复处于异常状态的服务命令。
87.当故障不属于异常库，进入步骤s16：将异常信息记录并存储至异常库中。
88.需要说明的是，在将异常信息记录并存储至异常库中之后，当人工处理该异常信息对应的故障时，通过机器学习记录并学习该处理方案，以便于提升分布式集群故障处理方法的智能化。
89.本技术所提供的一种分布式集群故障处理方法，包括：确定待检测功能；采集与待检测功能对应的服务命令；判断服务命令是否处于异常状态；若服务命令处于异常状态，则识别异常状态对应的故障；判断故障是否属于异常库，其中，异常库为存储有异常状态对应的故障的处理方案；若故障属于异常库，则按照处理方案修复处于异常状态的服务命令。通过判断服务命令是否处于异常状态，并根据处于异常状态的服务命令识别其对应的即将要出现的故障，通过异常库存储的故障的处理方案修复处于异常状态的服务命令，由此实现预防分布式集群发生故障，避免由于故障带来的巨大损失。
90.在上述实施例的基础上，作为一种更优选的实施例，在将异常信息记录并存储至异常库中之后，还包括：
91.利用机器学习算法记录不属于异常库的故障的处理方案；
92.将不属于异常库的故障的处理方案添加至异常库。
93.在本实施中，所提及的机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。
94.机器学习具有多种定义，如下所示：
95.机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
96.机器学习是对能通过经验自动改进的计算机算法的研究。
97.机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。
98.可以理解的是，根据强调侧面的不同可以有多种分类方法，其分类如下：
99.基于学习策略的分类可以分为以下两种：
100.第一种为模拟人脑的机器学习，该模拟人脑的机器学习可以分为符号学习和神经网络学习(或连接学习)。其中，符号学习为模拟人脑的宏现心理级学习过程，以认知心理学原理为基础，以符号数据为输入，以符号运算为方法，用推理过程在图或状态空间中搜索，学习的目标为概念或规则等。符号学习的典型方法有记忆学习、示例学习、演绎学习、类比学习、解释学习等等。神经网络学习(或连接学习)为模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础，以人工神经网络为函数结构模型，以数值数据为输入，以数值运算为方法，用迭代过程在系数向量空间中搜索，学习的目标为函数。典型的神经网络学习(或连接学习)有权值修正学习、拓扑结构学习。
101.第二种为直接采用数学方法的机器学习，该直接采用数学方法的机器学习主要为统计机器学习。统计机器学习是基于对数据的初步认识以及学习目的的分析，选择合适的数学模型，拟定超参数，并输入样本数据，依据一定的策略，运用合适的学习算法对模型进行训练，最后运用训练好的模型对数据进行分析预测。其中，统计机器学习一般有三个要素：第一为模型(model)，模型在未进行训练前，其可能的参数是多个甚至无穷的，故可能的模型也是多个甚至无穷的，这些模型构成的集合就是假设空间。第二为策略(strategy)，即从假设空间中挑选出参数最优的模型的准则。模型的分类或预测结果与实际情况的误差(损失函数)越小，模型就越好。那么策略就是误差最小。第三为算法(algorithm)，即从假设空间中挑选模型的方法(等同于求解最佳的模型参数)。机器学习的参数求解通常都会转化为最优化问题，故学习算法通常是最优化算法，例如最速梯度下降法、牛顿法以及拟牛顿法等等。
102.基于学习方法的分类可以分为以下四种：
103.第一种为归纳学习，该归纳学习还可以分为符号归纳学习和函数归纳学习。其中，符号归纳学习：典型的符号归纳学习有示例学习、决策树学习。函数归纳学习(发现学习)：典型的函数归纳学习有神经网络学习、示例学习、发现学习、统计学习。
104.第二种为演绎学习。第三种为类比学习：典型的类比学习有案例(范例)学习。第四种为分析学习：典型的分析学习有解释学习、宏操作学习。基于学习方式的分类可以分为以下三种：
105.第一种为监督学习(有导师学习)：输入数据中有导师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，学习结果为函数。第二种为无监督学习(无导师学习)：输入数据中无导师信号，采用聚类方法，学习结果为类别。典型的无导师学习有发现学习、聚类、竞争学习等。第三种为强化学习(增强学习)：以环境反馈(奖/惩信号)作为输入，以统计和动态规划技术为指导的一种学习方法。
106.基于数据形式的分类可以分为以下两种：
107.第一种为结构化学习：以结构化数据为输入，以数值计算或符号推演为方法。典型的结构化学习有神经网络学习、统计学习、决策树学习、规则学习。第二种为非结构化学习：以非结构化数据为输入，典型的非结构化学习有类比学习案例学习、解释学习、文本挖掘、图像挖掘、web挖掘等。
108.基于学习目标的分类可以分为以下五种：
109.第一种为概念学习：学习的目标和结果为概念，或者说是为了获得概念的学习。典
型的概念学习主要有示例学习。第二种为规则学习：学习的目标和结果为规则，或者为了获得规则的学习。典型规则学习主要有决策树学习。第三种为函数学习：学习的目标和结果为函数，或者说是为了获得函数的学习。典型函数学习主要有神经网络学习。第四种为类别学习：学习的目标和结果为对象类，或者说是为了获得类别的学习。典型类别学习主要有聚类分析。第五种为贝叶斯网络学习：学习的目标和结果是贝叶斯网络，或者说是为了获得贝叶斯网络的一种学习。其又可分为结构学习和多数学习。
110.对于机器学习，常用的算法一般包括：决策树算法、朴素贝叶斯算法、支持向量机算法、随机森林算法、人工神经网络算法、boosting与bagging算法、关联规则算法、em(期望最大化)算法、深度学习。以下为对上述提及的算法的说明：
111.决策树及其变种是一类将输入空间分成不同的区域，每个区域有独立参数的算法。决策树算法充分利用了树形模型，根节点到一个叶子节点是一条分类的路径规则，每个叶子节点象征一个判断类别。先将样本分成不同的子集，再进行分割递推，直至每个子集得到同类型的样本，从根节点开始测试，到子树再到叶子节点，即可得出预测类别。此方法的特点是结构简单、处理数据效率较高。
112.朴素贝叶斯算法是一种分类算法。它不是单一算法，而是一系列算法，它们都有一个共同的原则，即被分类的每个特征都与任何其他特征的值无关。朴素贝叶斯分类器认为这些“特征”中的每一个都独立地贡献概率，而不管特征之间的任何相关性。然而，特征并不总是独立的，这通常被视为朴素贝叶斯算法的缺点。简而言之，朴素贝叶斯算法允许我们使用概率给出一组特征来预测一个类。与其他常见的分类方法相比，朴素贝叶斯算法需要的训练很少。在进行预测之前必须完成的唯一工作是找到特征的个体概率分布的参数，这通常可以快速且确定地完成。这意味着即使对于高维数据点或大量数据点，朴素贝叶斯分类器也可以表现良好。
113.支持向量机算法基本思想可概括如下：首先，要利用一种变换将空间高维化，当然这种变换是非线性的，然后，在新的复杂空间取最优线性分类表面[8]。由此种方式获得的分类函数在形式上类似于神经网络算法。支持向量机是统计学习领域中一个代表性算法，但它与传统方式的思维方法很不同，输入空间、提高维度从而将问题简短化，使问题归结为线性可分的经典解问题。支持向量机应用于垃圾邮件识别，人脸识别等多种分类问题。
[0114]
控制数据树生成的方式有多种，根据前人的经验，大多数时候更倾向选择分裂属性和剪枝，但这并不能解决所有问题，偶尔会遇到噪声或分裂属性过多的问题。基于这种情况，总结每次的结果可以得到袋外数据的估计误差，将它和测试样本的估计误差相结合可以评估组合树学习器的拟合及预测精度，这样的算法即为随机森林算法。此方法的优点有很多，可以产生高精度的分类器，并能够处理大量的变数，也可以平衡分类资料集之间的误差。
[0115]
人工神经网络与神经元组成的异常复杂的网络此大体相似，是个体单元互相连接而成，每个单元有数值量的输入和输出，形式可以为实数或线性组合函数。它先要以一种学习准则去学习，然后才能进行工作。当网络判断错误时，通过学习使其减少犯同样错误的可能性。此方法有很强的泛化能力和非线性映射能力，可以对信息量少的系统进行模型处理。从功能模拟角度看具有并行性，且传递信息速度极快。
[0116]
boosting是种通用的增强基础算法性能的回归分析算法。不需构造一个高精度的
回归分析，只需一个粗糙的基础算法即可，再反复调整基础算法就可以得到较好的组合回归模型。它可以将弱学习算法提高为强学习算法，可以应用到其它基础回归算法，如线性回归、神经网络等，来提高精度。bagging和前一种算法大体相似但又略有差别，主要想法是给出已知的弱学习算法和训练集，它需要经过多轮的计算，才可以得到预测函数列，最后采用投票方式对示例进行判别。
[0117]
关联规则算法是用规则去描述两个变量或多个变量之间的关系，是客观反映数据本身性质的方法。它是机器学习的一大类任务，可分为两个阶段，先从资料集中找到高频项目组，再去研究它们的关联规则。其得到的分析结果即是对变量间规律的总结。
[0118]
在进行机器学习的过程中需要用到极大似然估计等参数估计方法，在有潜在变量的情况下，通常选择em(期望最大化)算法，不是直接对函数对象进行极大估计，而是添加一些数据进行简化计算，再进行极大化模拟。它是对本身受限制或比较难直接处理的数据的极大似然估计算法。
[0119]
深度学习(deep learning，dl)是机器学习(machine learning，ml)领域中一个新的研究方向，它被引入机器学习使其更接近于人工智能(artificial intelligence，ai)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
[0120]
在上述实施例的基础上，作为一种更优选的实施例，在按照处理方案修复处于异常状态的服务命令之后，还包括：输出表征完成修复的提示信息。为了使技术人员和/或用户及时了解修复是否完成，此处在按照处理方案修复处于异常状态的服务命令之后输出表征完成修复的提示信息。需要说明的是，在本实施例中，表征完成修复的提示信息可以通过文字形式表示，还可以通过数据串的形式表示。当使用文字形式表示时，可以举例为：“完成修复”；当使用数字串形式表示时，数据串可以为1位、2位、4位、8位等等，则按照上述记载次序，可以依次举例为：“0”、“01”、“0111”、“01000010”等等。需要说明的是，上述提及的实施例仅为众多实施例中的一种，并不对本实施起到限定作用，可根据具体实施场景确定其实施方式。还需要说明的是，当使用数字串形式表示时，可以根据二进制对应的十进制数值大小确定是否发出表征完成修复的提示信息，还可以通过多位数据串中的0或1的个数是否超出预设值(例如：数据串总位数的一半)确定是否发出表征完成修复的提示信息。
[0121]
在上述实施例中，对于分布式集群故障处理方法进行了详细描述，本技术还提供分布式集群故障处理装置对应的实施例。需要说明的是，本技术从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
[0122]
图2为本技术实施例所提供的一种分布式集群故障处理装置结构图。如图2所示，本技术还提供了一种分布式集群故障处理装置，包括：
[0123]
第一确定模块20，用于确定待检测功能；
[0124]
采集模块21，用于采集与待检测功能对应的服务命令；
[0125]
第一判断模块22，用于判断服务命令是否处于异常状态；
[0126]
若服务命令处于异常状态，则触发识别模块23，用于识别异常状态对应的故障；
[0127]
第二判断模块24，用于判断故障是否属于异常库，其中，异常库为存储有异常状态对应的故障的处理方案；
[0128]
若故障属于异常库，则触发修复模块25，用于按照处理方案修复处于异常状态的服务命令。
[0129]
此外，该装置还包括以下模块：
[0130]
其中，确定待检测功能包括：
[0131]
第一获取模块，用于获取全部功能的使用频率；
[0132]
排序模块，用于将功能按照使用频率进行排序，得到功能使用序列；
[0133]
第二获取模块，用于按照功能使用序列获取预设个数的功能；
[0134]
第二确定模块，用于将预设个数的功能确定为待检测功能。
[0135]
当服务命令处于异常状态时，识别异常状态对应的故障包括：
[0136]
第三获取模块，用于获取异常状态对应的异常信息；
[0137]
第三确定模块，用于根据异常信息确定当前异常类型；
[0138]
第四确定模块，用于根据当前异常类型确定故障。
[0139]
当故障不属于异常库，触发存储模块，用于将异常信息记录并存储至异常库中。
[0140]
在将异常信息记录并存储至异常库中之后，还包括：
[0141]
记录模块，用于利用机器学习算法记录不属于异常库的故障的处理方案；
[0142]
添加模块，用于将不属于异常库的故障的处理方案添加至异常库。
[0143]
在按照处理方案修复处于异常状态的服务命令之后，还包括：
[0144]
输出模块，用于输出表征完成修复的提示信息。
[0145]
其中，确定待检测功能包括：
[0146]
第五确定模块，用于按照预设时间定期确定待检测功能。
[0147]
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。且装置部分与方法部分能够实现同样的技术效果：本技术所提供的一种分布式集群故障处理方法，包括：确定待检测功能；采集与待检测功能对应的服务命令；判断服务命令是否处于异常状态；若服务命令处于异常状态，则识别异常状态对应的故障；判断故障是否属于异常库，其中，异常库为存储有异常状态对应的故障的处理方案；若故障属于异常库，则按照处理方案修复处于异常状态的服务命令。通过判断服务命令是否处于异常状态，并根据处于异常状态的服务命令识别其对应的即将要出现的故障，通过异常库存储的故障的处理方案修复处于异常状态的服务命令，由此实现预防分布式集群发生故障，避免由于故障带来的巨大损失。
[0148]
图3为本技术实施例所提供的一种分布式集群故障处理设备结构图，如图3所示，分布式集群故障处理设备包括：
[0149]
存储器30，用于存储计算机程序；
[0150]
处理器31，用于执行计算机程序时实现如上述实施例中所提到的分布式集群故障处理方法的步骤。
[0151]
本实施例提供的分布式集群故障处理设备可以包括但不限于智能手机、平板电
脑、笔记本电脑或台式电脑等。
[0152]
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(central processing unit，cpu)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以集成有图像处理器(graphics processing unit，gpu)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括人工智能处理器，该ai处理器用于处理有关机器学习的计算操作。
[0153]
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任意一个实施例公开的分布式集群故障处理方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统和数据等，存储方式可以是短暂存储或者永久存储。其中，操作系统可以包括windows、unix、linux等。数据可以包括但不限于分布式集群故障处理方法等。
[0154]
在一些实施例中，分布式集群故障处理设备还可包括有显示屏、输入输出接口、通信接口、电源以及通信总线。
[0155]
本领域技术人员可以理解，图3中示出的结构并不构成对分布式集群故障处理设备的限定，可以包括比图示更多或更少的组件。
[0156]
本技术实施例提供的分布式集群故障处理设备，包括存储器30和处理器31，处理器31在执行存储器30存储的程序时，能够实现分布式集群故障处理方法。
[0157]
最后，本技术还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
[0158]
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory)，rom、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0159]
以上对本技术所提供的一种分布式集群故障处理方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围
内。
[0160]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。