一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

分布式存储系统中存储节点离线方法、装置、设备及介质与流程

2022-11-16 15:30:04 来源:中国专利 TAG:


1.本发明涉及计算机技术领域,特别涉及分布式存储系统中存储节点离线方法、装置、设备及介质。


背景技术:

2.在云计算时代,每天都会产生海量的数据,传统的单一存储往往无法满足这些海量数据的存储需求,通常将这些海量数据存放在分布式存储中,分布式存储在存储数据时一般采用多副本存储的方式来避免分布式系统某个存储节点故障导致数据丢失,分布式存储中的每个存储节点存储的都是整个存储数据的一部分,当一个存储节点需要进行离线维护时,该存储节点上存储的数据将无法访问,就认为这些数据副本丢失。如果分布式存储系统无法快速补齐丢失的数据副本,集群发生故障时,就可能造成数据丢失。如何快速补齐丢失的数据副本,就是一个需要解决的问题。目前分布式存储系统在接收到存储节点离线维护消息后,需要遍历所有的存储节点,获取数据的副本信息,如果数据副本是存放在离线维护的节点上时,则从其他在线存储节点上读取丢失的数据副本,在分布式存储的可用节点上保存新的数据副本,来达到该存储节点上存放的数据副本补齐的目的,因此现有方案存在当需要进行存储节点离线时,数据副本补齐慢,效率低的问题。
3.综上可见,如何在分布式存储系统中存储节点进行离线的过程中,提高数据副本补齐效率是本领域有待解决的问题。


技术实现要素:

4.有鉴于此,本发明的目的在于提供一种分布式存储系统中存储节点离线方法、装置、设备及介质,能够在分布式存储系统中存储节点进行离线的过程中,提高数据副本补齐效率。其具体方案如下:
5.第一方面,本技术公开了一种分布式存储系统中存储节点离线方法,应用于待离线维护存储节点,包括:
6.接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息;
7.基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储;
8.利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作;
9.基于所述预设离线维护指令执行对应的离线操作。
10.可选的,所述基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,包括:
11.基于所述节点信息中的节点数量,将存储在所述待离线维护存储节点的数据副本进行平均分组处理,以得到与所述节点数量对应的若干组子数据。
12.可选的,所述基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,包括:
13.基于所述节点信息中的负载信息,确定各个所述在线存储节点待分配的子数据量,并基于所述子数据量将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据。
14.可选的,所述利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,包括:
15.利用所述节点信息中的地址信息将每一组所述子数据分别传输至对应的所述在线存储节点。
16.可选的,所述利用所述节点信息中的地址信息将每一组所述子数据分别传输至对应的所述在线存储节点,包括:
17.构建所述节点信息中的地址信息与所述子数据之间的传输映射关系,并利用所述传输映射关系将每一组所述子数据分别传输至对应的所述在线存储节点。
18.可选的,所述利用所述节点信息更新所述数据副本的索引信息,包括:
19.利用所述节点信息中的所述地址信息与所述子数据之间的所述传输映射关系将所述数据副本的索引信息中上一映射关系进行更新,以得到当前映射关系;
20.相应的,所述基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,包括:
21.从所述子数据中确定出与所述操作命令对应的目标子数据,以便基于所述索引信息中与所述目标子数据对应的所述当前映射关系将所述操作命令转发至对应的所述在线存储节点。
22.可选的,所述利用所述节点信息更新所述数据副本的索引信息之前,还包括:
23.获取所述在线存储节点基于所述子数据的存储状态返回的状态信息,以便基于所述状态信息,并利用所述节点信息更新所述数据副本的索引信息。
24.第二方面,本技术公开了一种分布式存储系统中存储节点离线装置,应用于待离线维护存储节点,包括:
25.信息获取模块,用于接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息;
26.数据传输模块,用于基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储;
27.命令转发模块,用于利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作;
28.离线执行模块,用于基于所述预设离线维护指令执行对应的离线操作。
29.第三方面,本技术公开了一种电子设备,包括:
30.存储器,用于保存计算机程序;
31.处理器,用于执行所述计算机程序,以实现前述公开的分布式存储系统中存储节点离线方法的步骤。
32.第四方面,本技术公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的分布式存储系统中存储节点离线方法的步骤。
33.可见,本技术接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息;基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储;利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作;基于所述预设离线维护指令执行对应的离线操作。由此可见,待离线维护存储节点在执行对应的离线操作时,需要将存储在本地的数据副本进行分组处理以得到若干组子数据,然后将每一组子数据分别传输至对应的所述在线存储节点,当接收到对数据副本进行操作命令时,基于索引信息将操作命令转发至对应的在线存储节点,即无需遍历所以存储节点,可直接从对应的在线存储节点中对数据副本进行对应的操作,因此能够提高数据副本补齐效率。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
35.图1为本技术公开的一种分布式存储系统中存储节点离线方法流程图;
36.图2为本技术公开的一种具体的分布式存储中节点离线示意图;
37.图3为本技术公开的一种具体的分布式存储系统中存储节点离线方法流程图;
38.图4为本技术公开的一种具体的分布式存储系统中存储节点离线方法流程图;
39.图5为本技术公开的一种分布式存储系统中存储节点离线装置结构示意图;
40.图6为本技术公开的一种电子设备结构图。
具体实施方式
41.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
42.在云计算时代,每天都会产生海量的数据,传统的单一存储往往无法满足这些海量数据的存储需求,通常将这些海量数据存放在分布式存储中,分布式存储在存储数据时一般采用多副本存储的方式来避免分布式系统某个存储节点故障导致数据丢失,分布式存
储中的每个存储节点存储的都是整个存储数据的一部分,当一个存储节点需要进行离线维护时,该存储节点上存储的数据将无法访问,就认为这些数据副本丢失。如果分布式存储系统无法快速补齐丢失的数据副本,集群发生故障时,就可能造成数据丢失。如何快速补齐丢失的数据副本,就是一个需要解决的问题。目前分布式存储系统在接收到存储节点离线维护消息后,需要遍历所有的存储节点,获取数据的副本信息,如果数据副本是存放在离线维护的节点上时,则从其他在线存储节点上读取丢失的数据副本,在分布式存储的可用节点上保存新的数据副本,来达到该存储节点上存放的数据副本补齐的目的,因此现有方案存在当需要进行存储节点离线时,数据副本补齐慢,效率低的问题。
43.为此本技术相应的提供了一种分布式存储系统中存储节点离线方案,能够在分布式存储系统中存储节点进行离线的过程中,提高数据副本补齐效率。
44.参见图1所示,本技术实施例公开了一种分布式存储系统中存储节点离线方法,应用于待离线维护存储节点,包括:
45.步骤s11:接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息。
46.本实施例中,当待离线维护存储节点接收到预设离线维护指令时,需要获取分布式系统中各个在线存储节点的节点信息,例如图2所示的一种具体的分布式存储中节点离线示意图,获取分布式系统中在线存储节点列表,其中在线存储节点列表中包含了在线存储节点的数量信息、地址信息以及各个在线存储节点当前的负载信息。
47.步骤s12:基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储。
48.本实施例中,所述利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,具体包括:利用所述节点信息中的地址信息将每一组所述子数据分别传输至对应的所述在线存储节点。例如待离线维护存储节点为a节点,在线存储节点分别为b节点、c节点和d节点,将存储在a节点的数据副本分成三组,然后将三组子数据分别传输至b节点、c节点和d节点。
49.本实施例中,所述利用所述节点信息中的地址信息将每一组所述子数据分别传输至对应的所述在线存储节点,具体包括:构建所述节点信息中的地址信息与所述子数据之间的传输映射关系,并利用所述传输映射关系将每一组所述子数据分别传输至对应的所述在线存储节点。例如三组子数据分别为b子数据、c子数据和d子数据,与b子数据对应的地址信息为b地址信息、与c子数据对应的地址信息为c地址信息、与d子数据对应的地址信息为d地址信息,以此建立传输映射关系,并以该传输映射关系进行相应的数据传输,以便b节点、c节点和d节点将对应的子数据进行存储。
50.步骤s13:利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作。
51.本实施例中,所述利用所述节点信息更新所述数据副本的索引信息,具体包括:利用所述节点信息中的所述地址信息与所述子数据之间的所述传输映射关系将所述数据副本的索引信息中上一映射关系进行更新,以得到当前映射关系。
52.本实施例中,所述基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,具体包括:从所述子数据中确定出与所述操作命令对应的目标子数据,以便基于所述索引信息中与所述目标子数据对应的所述当前映射关系将所述操作命令转发至对应的所述在线存储节点。例如,该操作命令是需要对b子数据进行相关操作,那么基于索引信息中的传输映射关系,可直接将该操作命令转发至b节点,无需遍历所有的存储节点,大大提高数据副本补齐效率。
53.本实施例中,所述利用所述节点信息更新所述数据副本的索引信息之前,还包括:获取所述在线存储节点基于所述子数据的存储状态返回的状态信息,以便基于所述状态信息,并利用所述节点信息更新所述数据副本的索引信息。可以理解的是,当在线存储节点完成子数据存储后,可以向待离线维护存储节点发送状态信息,以表征当前已经完成对子数据的存储工作,可以进行后续的索引更新处理。
54.步骤s14:基于所述预设离线维护指令执行对应的离线操作。
55.本实施例中,当完成数据副本分组存储后,可以基于预设离线维护指令执行对应的离线操作。
56.可见,本技术接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息;基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储;利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作;基于所述预设离线维护指令执行对应的离线操作。由此可见,待离线维护存储节点在执行对应的离线操作时,需要将存储在本地的数据副本进行分组处理以得到若干组子数据,然后将每一组子数据分别传输至对应的所述在线存储节点,当接收到对数据副本进行操作命令时,基于索引信息将操作命令转发至对应的在线存储节点,即无需遍历所以存储节点,可直接从对应的在线存储节点中对数据副本进行对应的操作,因此能够提高数据副本补齐效率。
57.参见图3所示,本技术实施例公开了一种具体的分布式存储系统中存储节点离线方法,应用于待离线维护存储节点,包括:
58.步骤s21:接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息。
59.步骤s22:基于所述节点信息中的节点数量,将存储在所述待离线维护存储节点的数据副本进行平均分组处理,以得到与所述节点数量对应的若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储。
60.可以理解的是,本实施例中,获取节点信息为节点数量为n,那么将存储在待离线维护存储节点的数据副本平均分成n组,然后将n组子数据分别传输至对应的在线存储节点,需要注意的是,还可以创建每一组子数据与在线存储节点的节点信息对应的传输映射关系,例如获取节点信息为节点数量为5,那么将数据副本平均分成5组,然后将该5组子数据分别传输至对应的在线存储节点1号至5号中,构建的传输映射关系为第1组子数据传输
至1号在线存储节点、第2组子数据传输至2号在线存储节点、第3组子数据传输至3号在线存储节点、第4组子数据传输至4号在线存储节点、第5组子数据传输至5号在线存储节点。
61.步骤s23:利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作。
62.本实施例中,利用节点信息和传输映射关系更新数据副本的索引信息,可以理解的是,该索引信息可以记录子数据与在线存储节点的关系,因此当接收到操作命令时,确定出与该操作命令对应的子数据的组数,例如与该操作命令对应的是第4组子数据,那么基于索引信息可知,第4组子数据当前存储在4号在线存储节点,那么将该操作命令转发至4号在线存储节点;也可以确定出与该操作命令对应的是第4组子数据和第5组子数据,那么基于索引信息可知,第4组子数据当前存储在4号在线存储节点,第5组子数据当前存储在5号在线存储节点,那么将该操作命令转发至4号在线存储节点和5号在线存储节点,以便该操作命令对第4组子数据和第5组子数据进行相应的操作。
63.步骤s24:基于所述预设离线维护指令执行对应的离线操作。
64.其中,关于上述步骤s21、s24更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
65.由此可见,本技术可以将数据副本平均分成与节点信息中节点数量对应的组数,减少每一组子数据的数据量,传输时可以提高传输速度,又因为可以将操作命令直接转发至相对应的在线存储节点中,无需遍历所有存储节点,有效提高数据副本补齐速度。
66.参见图4所示,本技术实施例公开了一种具体的分布式存储系统中存储节点离线方法,应用于待离线维护存储节点,包括:
67.步骤s31:接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息。
68.步骤s32:基于所述节点信息中的负载信息,确定各个所述在线存储节点待分配的子数据量,并基于所述子数据量将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据。
69.本实施例中,基于节点信息中的负载信息,确定各个在线存储节点待分配的子数据量,并基于子数据量将存储在待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,例如在线存储节点为4个,1号在线存储节点的数据量为10%、2号在线存储节点的数据量为20%、3号在线存储节点的数据量为30%、4号在线存储节点的数据量为40%,因此将存储在待离线维护存储节点的数据副本进行分组处理,以得到分别为10%的子数据、20%的子数据、30%的子数据、40%的子数据。
70.步骤s33:利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储。
71.本实施例中,例如将10%的子数据、20%的子数据、30%的子数据、40%的子数据分别传输至1号在线存储节点、2号在线存储节点、3号在线存储节点、4号在线存储节点。
72.步骤s34:利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作。
73.步骤s35:基于所述预设离线维护指令执行对应的离线操作。
74.其中,关于上述步骤s31、s34、s35更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
75.由此可见,本技术基于各个在线存储节点的负载信息,对数据副本进行分组,使得各个在线存储节点存储对应的子数据后的负载情况不会影响该在线存储节点其他操作,即尽量避免出现过高的负载情况,又因为可以将操作命令直接转发至对应的在线存储节点,无需遍历所有在线存储节点,减少时间成本,提高后续与操作命令对应的相关操作的效率,进而提高数据副本补齐效率。
76.参见图5所示,本技术实施例公开了一种分布式存储系统中存储节点离线装置,应用于待离线维护存储节点,包括:
77.信息获取模块11,用于接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息;
78.数据传输模块12,用于基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储;
79.命令转发模块13,用于利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作;
80.离线执行模块14,用于基于所述预设离线维护指令执行对应的离线操作。
81.可见,本技术接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息;基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储;利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作;基于所述预设离线维护指令执行对应的离线操作。由此可见,待离线维护存储节点在执行对应的离线操作时,需要将存储在本地的数据副本进行分组处理以得到若干组子数据,然后将每一组子数据分别传输至对应的所述在线存储节点,当接收到对数据副本进行操作命令时,基于索引信息将操作命令转发至对应的在线存储节点,即无需遍历所以存储节点,可直接从对应的在线存储节点中对数据副本进行对应的操作,因此能够提高数据副本补齐效率。
82.在一些具体实施例中,所述数据传输模块12,包括:
83.第一分组处理单元,用于基于所述节点信息中的节点数量,将存储在所述待离线维护存储节点的数据副本进行平均分组处理,以得到与所述节点数量对应的若干组子数据。
84.在一些具体实施例中,所述数据传输模块12,包括:
85.第二分组处理单元,用于基于所述节点信息中的负载信息,确定各个所述在线存储节点待分配的子数据量,并基于所述子数据量将存储在所述待离线维护存储节点的数据
副本进行分组处理,以得到若干组子数据。
86.在一些具体实施例中,所述数据传输模块12,包括:
87.第一传输单元,用于利用所述节点信息中的地址信息将每一组所述子数据分别传输至对应的所述在线存储节点。
88.在一些具体实施例中,所述传输单元,包括:
89.第二传输单元,用于构建所述节点信息中的地址信息与所述子数据之间的传输映射关系,并利用所述传输映射关系将每一组所述子数据分别传输至对应的所述在线存储节点。
90.在一些具体实施例中,所述命令转发模块13,包括:
91.第一更新单元,用于利用所述节点信息中的所述地址信息与所述子数据之间的所述传输映射关系将所述数据副本的索引信息中上一映射关系进行更新,以得到当前映射关系;
92.在一些具体实施例中,所述命令转发模块13,包括:
93.目标子数据确定单元,用于从所述子数据中确定出与所述操作命令对应的目标子数据,以便基于所述索引信息中与所述目标子数据对应的所述当前映射关系将所述操作命令转发至对应的所述在线存储节点。
94.在一些具体实施例中,所述分布式存储系统中存储节点离线装置,包括:
95.第二更新单元,用于获取所述在线存储节点基于所述子数据的存储状态返回的状态信息,以便基于所述状态信息,并利用所述节点信息更新所述数据副本的索引信息。
96.图6为本技术实施例提供的一种电子设备的结构示意图。具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现以下步骤:
97.接收预设离线维护指令,并基于所述预设离线维护指令获取分布式系统中各个在线存储节点的节点信息;
98.基于所述节点信息将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据,并利用所述节点信息将每一组所述子数据分别传输至对应的所述在线存储节点,以便所述在线存储节点将所述子数据进行存储;
99.利用所述节点信息更新所述数据副本的索引信息,当接收到对所述数据副本进行操作命令时,基于所述索引信息将所述操作命令转发至对应的所述在线存储节点,以便对所述在线存储节点存储的所述子数据进行与所述操作命令对应的操作;
100.基于所述预设离线维护指令执行对应的离线操作。
101.在一些具体实施方式中,所述处理器通过执行所述存储器中保存的计算机程序,具体可以实现以下步骤:
102.基于所述节点信息中的节点数量,将存储在所述待离线维护存储节点的数据副本进行平均分组处理,以得到与所述节点数量对应的若干组子数据。
103.在一些具体实施方式中,所述处理器通过执行所述存储器中保存的计算机程序,具体可以实现以下步骤:
104.基于所述节点信息中的负载信息,确定各个所述在线存储节点待分配的子数据
量,并基于所述子数据量将存储在所述待离线维护存储节点的数据副本进行分组处理,以得到若干组子数据。
105.在一些具体实施方式中,所述处理器通过执行所述存储器中保存的计算机程序,具体可以实现以下步骤:
106.利用所述节点信息中的地址信息将每一组所述子数据分别传输至对应的所述在线存储节点。
107.在一些具体实施方式中,所述处理器通过执行所述存储器中保存的计算机程序,具体可以实现以下步骤:
108.构建所述节点信息中的地址信息与所述子数据之间的传输映射关系,并利用所述传输映射关系将每一组所述子数据分别传输至对应的所述在线存储节点。
109.在一些具体实施方式中,所述处理器通过执行所述存储器中保存的计算机程序,具体可以实现以下步骤:
110.利用所述节点信息中的所述地址信息与所述子数据之间的所述传输映射关系将所述数据副本的索引信息中上一映射关系进行更新,以得到当前映射关系;
111.在一些具体实施方式中,所述处理器通过执行所述存储器中保存的计算机程序,具体可以实现以下步骤:
112.从所述子数据中确定出与所述操作命令对应的目标子数据,以便基于所述索引信息中与所述目标子数据对应的所述当前映射关系将所述操作命令转发至对应的所述在线存储节点。
113.在一些具体实施方式中,所述处理器通过执行所述存储器中保存的计算机程序,还可以进一步包括以下步骤:
114.获取所述在线存储节点基于所述子数据的存储状态返回的状态信息,以便基于所述状态信息,并利用所述节点信息更新所述数据副本的索引信息。
115.本实施例中,电源23用于为电子设备上的各硬件设备提供工作电压;通信接口24能够为电子设备创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
116.其中,处理器21可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以在集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
117.另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者
光盘等,其上所存储的资源包括操作系统221、计算机程序222及数据223等,存储方式可以是短暂存储或者永久存储。
118.其中,操作系统221用于管理与控制电子设备上的各硬件设备以及计算机程序222,以实现处理器21对存储器22中海量数据223的运算与处理,其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备执行的分布式存储系统中存储节点离线方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据,也可以包括由自身输入输出接口25采集到的数据等。
119.进一步的,本技术实施例还公开了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的由分布式存储系统中存储节点离线过程中执行的方法步骤。
120.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
121.以上对本发明所提供的一种分布式存储系统中存储节点离线方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献