分布式文件系统PG选成员的方法、装置、设备及可读介质与流程

分布式文件系统pg选成员的方法、装置、设备及可读介质
技术领域
1.本发明涉及计算机领域，并且更具体地涉及一种分布式文件系统pg选成员的方法、装置、设备及可读介质。


背景技术：

2.对于分布式存储集群，pg(placement group，归置组，数据分布的一种逻辑单元)的成员是通过crush算法获取，crush算法是个伪随机算法，计算得出的pg成员分布并不是很均衡，为了提高集群的容量利用率，引入了upmap算法，upmap算法最终会得出一个纠正表，通过upmap表来纠正pg的成员列表，最终达到一个pg均衡分布的目的。
3.通过crush算法和upmap纠正表的纠正，我们可以达到pg均衡的目的，pg的成员要求是要符合故障域的，cursh算法计算的时候算出的up成员是符合故障域的，upmap算法计算的时候算出的纠正表替换后也是符合故障域的，但是当有故障发生的时候，pg的成员发生了变化，这个时候crush算法算出的是新的up成员，但是upmap算法的纠正表是有概率使得pg的up成员不符合故障域，最终在叠加故障发生的时候有可能造成数据丢失的结果。


技术实现要素：

4.有鉴于此，本发明实施例的目的在于提出一种分布式文件系统pg选成员的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够保障选取到的成员符合故障域，避免发生故障的情况造成的前端业务卡住和数据丢失的问题。
5.基于上述目的，本发明的实施例的一个方面提供了一种分布式文件系统pg选成员的方法，包括以下步骤：
6.响应于osd(object-based storage device，对象存储设备)中有成员发生故障，通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员；
7.响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域；
8.响应于故障的osd中pg的新成员不符合故障域，将osd中pg的新成员删除并使故障的osd处于等待状态并向监控器发送消息；
9.响应于监控器接收到消息，清除upmap纠正表中的信息后将新的osdmap表发送给故障的osd；
10.故障的osd选取新的osdmap表中的成员作为pg的成员。
11.根据本发明的一个实施例，响应于osd中有成员发生故障，并通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员包括：
12.响应于osd中有成员发生故障，将发生故障的osd中的成员清除；
13.使用crush算法重新计算故障的osd的成员，并通过upmap算法计算出故障的osd的纠正表；
14.使用纠正表纠正crush算法计算出的成员，故障的osd选取纠正后的成员作为pg的成员。
15.根据本发明的一个实施例，响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域包括：
16.响应于pg进行信息同步，获取pg的新成员所在的节点信息；
17.判断每个新成员是否存在相同的节点信息；
18.响应于新成员中存在相同的节点信息，确定故障的osd中pg的新成员不符合故障域。
19.根据本发明的一个实施例，还包括：
20.响应于新成员中不存在相同的节点信息，确定故障的osd中pg的新成员符合故障域。
21.本发明的实施例的另一个方面，还提供了一种分布式文件系统pg选成员的装置，装置包括：
22.计算模块，所述计算模块配置为响应于osd中有成员发生故障，通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员；
23.判断模块，所述判断模块配置为响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域；
24.删除模块，所述删除模块配置为响应于故障的osd中pg的新成员不符合故障域，将osd中pg的新成员删除并使故障的osd处于等待状态并向监控器发送消息；
25.处理模块，所述处理模块配置为响应于监控器接收到消息，清除upmap纠正表中的信息后将新的osdmap表发送给故障的osd；
26.选取模块，所述选取模块配置为故障的osd选取新的osdmap表中的成员作为pg的成员。
27.根据本发明的一个实施例，所述计算模块还配置为：
28.响应于osd中有成员发生故障，将发生故障的osd中的成员清除；
29.使用crush算法重新计算故障的osd的成员，并通过upmap算法计算出故障的osd的纠正表；
30.使用纠正表纠正crush算法计算出的成员，故障的osd选取纠正后的成员作为pg的成员。
31.根据本发明的一个实施例，所述判断模块还配置为：
32.响应于pg进行信息同步，获取pg的新成员所在的节点信息；
33.判断每个新成员是否存在相同的节点信息；
34.响应于新成员中存在相同的节点信息，确定故障的osd中pg的新成员不符合故障域。
35.根据本发明的一个实施例，所述判断模块还配置为：
36.响应于新成员中不存在相同的节点信息，确定故障的osd中pg的新成员符合故障域。
37.本发明的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
38.至少一个处理器；以及
39.存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任意一项方法的步骤。
40.本发明的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
41.本发明具有以下有益技术效果：本发明实施例提供的分布式文件系统pg选成员的方法，通过响应于osd中有成员发生故障，通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员；响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域；响应于故障的osd中pg的新成员不符合故障域，将osd中pg的新成员删除并使故障的osd处于等待状态并向监控器发送消息；响应于监控器接收到消息，清除upmap纠正表中的信息后将新的osdmap表发送给故障的osd；故障的osd选取新的osdmap表中的成员作为pg的成员的技术方案，能够保障选取到的成员符合故障域，避免发生故障的情况造成的前端业务卡住和数据丢失的问题。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
43.图1为根据本发明一个实施例的分布式文件系统pg选成员的方法的示意性流程图；
44.图2为根据本发明一个实施例的分布式文件系统pg选成员的装置的示意图；
45.图3为根据本发明一个实施例的计算机设备的示意图；
46.图4为根据本发明一个实施例的计算机可读存储介质的示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
48.基于上述目的，本发明的实施例的第一个方面，提出了一种分布式文件系统pg选成员的方法的一个实施例。图1示出的是该方法的示意性流程图。
49.如图1中所示，该方法可以包括以下步骤：
50.s1响应于osd中有成员发生故障，通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员。
51.当osd中有成员发生故障，即有某个pg发生故障，需要为该osd重新选取成员，将发生故障的osd的成员全部清除后，通过crush算法计算出该osd的pg成员，但是crush算法是个伪随机算法，计算得出的pg成员分布并不是很均衡，为了提高集群的容量利用率，需要使用upmap算法，通过upmap算法最终会得出一个纠正表，然后使用纠正表校正crush算法计算出的pg成员，纠正后的成员就是该osd的新成员。
52.s2响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域。
53.新成员选定后会进行pg之间的信息同步过程，在该过程进行的过程中需要判断选取的pg成员是否符合故障域，即获取每个pg的新成员所在的节点信息，判断每个新成员是否存在相同的节点信息，如果新成员中存在相同的节点信息，则确定pg的新成员不符合故
障域，如果新成员中不存在相同的节点信息，即每个pg成员都分布在不同的节点上，则确定pg的新成员符合故障域，如果确定了pg的新成员都符合故障域，则完成信息同步过程即可。
54.s3响应于故障的osd中pg的新成员不符合故障域，将osd中pg的新成员删除并使故障的osd处于等待状态并向监控器发送消息。
55.如果判断出pg的新成员不符合故障域，则需要再次选取新的成员，将上述选取出来的成员全部删除后，使该osd处于等待状态，并向监控器发送消息以使监控器触发重新选取成员的动作。
56.s4响应于监控器接收到消息，清除upmap纠正表中的信息后将新的osdmap表发送给故障的osd。
57.监控器收到消息后，会将使用upmap算法计算出的纠正表进行删除，使用crush算法计算出的pg成员的osdmap表发送给该osd，也就是该osdmap表中的pg成员没有进行纠正。
58.s5故障的osd选取新的osdmap表中的成员作为pg的成员。
59.该osd接收到osdmap表后，将表中的pg选取为pg的成员，然后执行信息同步的过程。
60.通过本发明的技术方案，能够保障选取到的成员符合故障域，避免发生故障的情况造成的前端业务卡住和数据丢失的问题。
61.在本发明的一个优选实施例中，响应于osd中有成员发生故障，并通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员包括：
62.响应于osd中有成员发生故障，将发生故障的osd中的成员清除；
63.使用crush算法重新计算故障的osd的成员，并通过upmap算法计算出故障的osd的纠正表；
64.使用纠正表纠正crush算法计算出的成员，故障的osd选取纠正后的成员作为pg的成员。crush算法是个伪随机算法，计算得出的pg成员分布并不是很均衡，为了提高集群的容量利用率，需要使用upmap算法，通过upmap算法最终会得出一个纠正表，然后使用纠正表校正crush算法计算出的pg成员，纠正后的成员就是该osd的新成员。
65.在本发明的一个优选实施例中，响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域包括：
66.响应于pg进行信息同步，获取pg的新成员所在的节点信息；
67.判断每个新成员是否存在相同的节点信息；
68.响应于新成员中存在相同的节点信息，确定故障的osd中pg的新成员不符合故障域。
69.在本发明的一个优选实施例中，还包括：
70.响应于新成员中不存在相同的节点信息，确定故障的osd中pg的新成员符合故障域。
71.通过本发明的技术方案，能够保障选取到的成员符合故障域，避免发生故障的情况造成的前端业务卡住和数据丢失的问题。
72.需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，上述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁
碟、光盘、只读存储器(read-only memory，rom)或随机存取存储器(random access memory，ram)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
73.此外，根据本发明实施例公开的方法还可以被实现为由cpu执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被cpu执行时，执行本发明实施例公开的方法中限定的上述功能。
74.基于上述目的，本发明的实施例的第二个方面，提出了一种分布式文件系统pg选成员的装置，如图2所示，装置200包括：
75.计算模块，所述计算模块配置为响应于osd中有成员发生故障，通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员；
76.判断模块，所述判断模块配置为响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域；
77.删除模块，所述删除模块配置为响应于故障的osd中pg的新成员不符合故障域，将osd中pg的新成员删除并使故障的osd处于等待状态并向监控器发送消息；
78.处理模块，所述处理模块配置为响应于监控器接收到消息，清除upmap纠正表中的信息后将新的osdmap表发送给故障的osd；
79.选取模块，所述选取模块配置为故障的osd选取新的osdmap表中的成员作为pg的成员。
80.在本发明的一个优选实施例中，所述计算模块还配置为：
81.响应于osd中有成员发生故障，将发生故障的osd中的成员清除；
82.使用crush算法重新计算故障的osd的成员，并通过upmap算法计算出故障的osd的纠正表；
83.使用纠正表纠正crush算法计算出的成员，故障的osd选取纠正后的成员作为pg的成员。
84.在本发明的一个优选实施例中，所述判断模块还配置为：
85.响应于pg进行信息同步，获取pg的新成员所在的节点信息；
86.判断每个新成员是否存在相同的节点信息；
87.响应于新成员中存在相同的节点信息，确定故障的osd中pg的新成员不符合故障域。
88.在本发明的一个优选实施例中，所述判断模块还配置为：
89.响应于新成员中不存在相同的节点信息，确定故障的osd中pg的新成员符合故障域。
90.基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备。图3示出的是本发明提供的计算机设备的实施例的示意图。如图3所示，本发明实施例包括如下装置：至少一个处理器21；以及存储器22，存储器22存储有可在处理器上运行的计算机指令23，指令由处理器执行时实现以下方法：
91.响应于osd中有成员发生故障，通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员；
92.响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域；
93.响应于故障的osd中pg的新成员不符合故障域，将osd中pg的新成员删除并使故障的osd处于等待状态并向监控器发送消息；
94.响应于监控器接收到消息，清除upmap纠正表中的信息后将新的osdmap表发送给故障的osd；
95.故障的osd选取新的osdmap表中的成员作为pg的成员。
96.在本发明的一个优选实施例中，响应于osd中有成员发生故障，并通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员包括：
97.响应于osd中有成员发生故障，将发生故障的osd中的成员清除；
98.使用crush算法重新计算故障的osd的成员，并通过upmap算法计算出故障的osd的纠正表；
99.使用纠正表纠正crush算法计算出的成员，故障的osd选取纠正后的成员作为pg的成员。
100.在本发明的一个优选实施例中，响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域包括：
101.响应于pg进行信息同步，获取pg的新成员所在的节点信息；
102.判断每个新成员是否存在相同的节点信息；
103.响应于新成员中存在相同的节点信息，确定故障的osd中pg的新成员不符合故障域。
104.在本发明的一个优选实施例中，还包括：
105.响应于新成员中不存在相同的节点信息，确定故障的osd中pg的新成员符合故障域。
106.基于上述目的，本发明实施例的第四个方面，提出了一种计算机可读存储介质。图4示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图4所示，计算机可读存储介质31存储有被处理器执行时执行如下方法的计算机程序32：
107.响应于osd中有成员发生故障，通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员；
108.响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域；
109.响应于故障的osd中pg的新成员不符合故障域，将osd中pg的新成员删除并使故障的osd处于等待状态并向监控器发送消息；
110.响应于监控器接收到消息，清除upmap纠正表中的信息后将新的osdmap表发送给故障的osd；
111.故障的osd选取新的osdmap表中的成员作为pg的成员。
112.在本发明的一个优选实施例中，响应于osd中有成员发生故障，并通过crush算法和upmap纠正表计算发生故障的osd中pg的新成员包括：
113.响应于osd中有成员发生故障，将发生故障的osd中的成员清除；
114.使用crush算法重新计算故障的osd的成员，并通过upmap算法计算出故障的osd的纠正表；
115.使用纠正表纠正crush算法计算出的成员，故障的osd选取纠正后的成员作为pg的成员。
116.在本发明的一个优选实施例中，响应于pg进行信息同步，判断故障的osd中pg的新成员是否符合故障域包括：
117.响应于pg进行信息同步，获取pg的新成员所在的节点信息；
118.判断每个新成员是否存在相同的节点信息；
119.响应于新成员中存在相同的节点信息，确定故障的osd中pg的新成员不符合故障域。
120.在本发明的一个优选实施例中，还包括：
121.响应于新成员中不存在相同的节点信息，确定故障的osd中pg的新成员符合故障域。
122.此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
123.此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
124.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
125.在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、dsl或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
126.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
127.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一
个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
128.上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
129.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
130.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。