分布式数据存储系统、管理方法、装置及存储介质与流程

1.本技术涉及互联网技术领域，具体涉及分布式数据存储系统、管理方法、装置及存储介质。


背景技术：

2.随着计算机技术的发展，安全性管理技术已经被广泛地用于管理各种类型的应用系统。在各种应用环境中，经常会需要针对应用系统中的数据执行备份操作，以便当应用系统中出现故障或者其他情况时可以基于备份数据来恢复应用系统。由于备份数据是用于恢复应用系统的基础，如何以更为安全并且可靠的方式来管理应用系统的备份数据成为一个研究热点。
3.分布式数据存储技术是一种将数据划分为多个数据块(块文件)并进行若干备份，随之将备份后的多个数据块(块文件)分布式存储在应用系统的多个节点中的技术，因此，单一节点中可能存储有大量数据块(块文件)备份，一旦该节点出现故障，则会导致该节点存储的大量数据块(块文件)备份丢失，随之将发生数据恢复设备无法从该节点中将这些数据块(块文件)备份进行取回，导致原始的数据流无法重构。


技术实现要素：

4.本技术的目的在于提供一种分布式数据存储系统、管理方法、装置及存储介质，用于解决现有技术中的上述问题。
5.根据本技术的一方面，本技术实施例提供一种分布式数据存储管理方法，所述方法应用于分布式数据存储系统，所述系统包括至少一个中央节点和与所述至少一个中央节点网络连接的多个边缘节点，所述方法包括：监测每个所述边缘节点的故障事件；响应于监测到的故障事件，确定待备份的目标块文件；所述中央节点调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作；所述备份节点基于所述中央节点的调度探测保存有所述目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
6.根据本技术的又一方面，本技术实施例提供一种分布式数据存储管理方法，所述方法由分布式数据存储系统中的中央节点执行，所述系统还包括与所述中央节点网络连接的多个边缘节点，所述方法包括：监测每个所述边缘节点的故障事件；响应于监测到的故障事件，确定待备份的目标块文件；调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作。
7.根据本技术的又一方面，本技术实施例提供一种分布式数据存储管理方法，所述方法由分布式数据存储系统中的边缘节点执行，所述系统包括至少一个中央节点和与所述至少一个中央节点网络连接的多个边缘节点，所述方法包括：响应于接收到的来自所述中央节点的调度指令，探测保存有所述调度指令中指示出的待备份的目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目
标块文件在本地备份。
8.根据本技术的又一方面，本技术实施例提供一种分布式数据存储系统，所述分布式数据存储系统包括至少一个中央节点和与所述至少一个中央节点网络连接的多个边缘节点，每个边缘节点均存储有多个块文件；所述中央节点监测每个所述边缘节点的故障事件，并且响应于监测到的故障事件确定待备份的目标块文件，随之调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作；作为所述备份节点的每个边缘节点基于所述中央节点的调度探测保存有所述目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。根据本技术的又一方面，本技术实施例提供一种分布式数据存储管理装置，所述装置工作在分布式数据存储系统的中央节点上，所述系统还包括与所述中央节点网络连接的多个边缘节点，所述装置包括：监测单元、判断单元以及调度单元；
9.所述监测单元，用于监测每个所述边缘节点的故障事件；
10.所述判断单元，用于响应于监测到的故障事件确定待备份的目标块文件；
11.所述调度单元，用于调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作。
12.根据本技术的又一方面，本技术实施例提供一种分布式数据存储的管理装置，所述装置工作在分布式数据存储系统的边缘节点上，所述系统包括至少一个中央节点和与所述至少一个中央节点网络连接的多个边缘节点，所述装置包括：通信单元、接收单元以及处理单元；
13.所述通信单元，用于向所述中央节点报告故障事件；
14.所述接收单元，用于接收所述中央节点的调度指令；
15.所述处理单元，用于响应于接收到的所述调度指令探测保存有所述调度指令中指示出的待备份的目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
16.根据本技术的又一方面，本技术实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序能够被处理器加载以执行前面所描述的任一实施例所述的分布式数据存储管理方法中的步骤。
17.本技术所提供的分布式数据存储系统、管理方法、装置及存储介质中，通过监测每个边缘节点的故障事件，响应于监测到的故障事件，确定待备份的目标块文件，所述中央节点调度至少一个第一边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作，所述备份节点基于所述中央节点的调度探测保存有所述目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。解决了现有技术中一旦边缘节点发生故障，导致该节点中存储的块文件丢失的问题，实现了对系统中块文件完整性及安全存储的功能，以保证在少量的边缘节点出现故障的情况下，不影响数据的获取。
附图说明
18.下面结合附图，通过对本技术的具体实施方式详细描述，将使本技术的技术方案及其它有益效果显而易见。
19.图1是根据本技术实施例提供的一种分布式数据存储系统的架构示意图；
20.图2是根据本技术实施例提供的一种分布式数据存储管理方法流程示意图；
21.图3是图2所示步骤s200的子流程示意图；
22.图4是图2所示步骤s300的子流程示意图；
23.图5是图2所示的步骤s400的后继步骤的流程示意图；
24.图6是根据本技术实施例提供的又一种分布式数据存储管理方法流程示意图；
25.图7是根据本技术实施例提供的又一种分布式数据存储管理方法流程示意图；
26.图8是根据本技术实施例的一种分布式数据存储管理装置的示意图；
27.图9是根据本技术实施例的一种分布式数据存储管理装置示意图。
具体实施方式
28.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.文中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
30.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
31.下文的公开提供了许多不同的实施方式或例子用来实现本技术的不同结构。为了简化本技术的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本技术。此外，本技术可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
32.图1是根据本技术实施例提供的一种分布式数据存储系统的架构示意图，参阅图1所示，在该系统中包括多个边缘节点，可选地，在本技术的任一实施例中，所述边缘节点可以为智能终端或者云服务器，所述边缘节点用于存储待存储的块文件，且各个所述边缘节点彼此通信耦合，该分布式数存储系统用于根据需要对待存储的块文件进行若干备份存储，以保证数据访问的持续性。同时，为了对多个边缘节点进行管理，在该分布式数存储系统中还包括至少一个中央节点，所述至少一个中央节点与所述多个边缘节点网络连接，所述中央节点可以为总服务器或者控制器，所述中央节点用于对所述边缘节点中块文件备份进行集中管理、维护等，比如对每个边缘节点的在线及运行状态进行监控，当存在异常时，生成异常报警提示，便于及时对有故障的边缘节点中保存的块文件备份进行维护。
33.在分布式数据存储系统中，由于边缘节点稳定因素、当前网络的状态、用户人为因
素等等原因可能导致数个边缘节点同时掉线，如果块文件(数据块)正好存在这些掉线的节点上，那在当前状态下(节点掉线)这些块文件数据无法被获取到。所以，每个块文件都需要保证其稳定性、可服务性，同一个块文件需要分布在不同的边缘节点上储存多个备份，以便当应用系统出现故障或者其他情况时，可以基于备份数据来恢复应用系统中的原始的数据流。由于备份数据是用于恢复应用系统的基础，因此，需要以安全可靠的方式来管理应用系统中的备份数据。
34.示例性地，在本实施例中，假设有100个边缘节点(n1、
……
、n100)，2个中央节点(s1、s2)，100个边缘节点(n1、
……
、n100)与2个中央节点(s1、s2)之间通过网络进行连接，整个分布式数据存储系统上共有5000个块文件(b1、
……
、b5000)，每个边缘节点保存着大约250个块文件。其中，同一个块文件随机分布在5～7个边缘节点上以储存5～7个备份，即对应同一个块文件制作有5～7个备份，分别一一对应保存在随机的5～7台边缘节点上，示例性地，每个边缘节点还可以对保存的块文件进行去重处理，即对应同一个边缘节点不会保存两份相同的块文件。另外，关于该分布式数据存储系统中的块文件的备份数量的阈值，具体地，可按照相应的业务类型及根据需求及稳定性动态计算得出。此时，若n1、n50发生故障无法连接(计丢失500个块文件)，中央节点监测到该故障事件，随之确认该丢失500个块文件中有300个块文件保存的备份数量由于低于预设阈值，可能会发生丢失。因此，需要对这300个块文件进行备份维护，以防止系统中由于某些块文件的备份低于预设阈值所导致的系统数据无法进行恢复的问题。
35.图2是根据本技术实施例提供的一种分布式数据存储管理方法流程示意图，参阅图2所示，所述方法应用于分布式数据存储系统，所述系统包括至少一个中央节点和与所述至少一个中央节点网络连接的多个边缘节点，所述方法包括：步骤s100，监测每个所述边缘节点的故障事件；步骤s200，响应于监测到的故障事件，确定待备份的目标块文件；步骤s300，所述中央节点调度至少一个所述边缘节点作为备份节点对所述待备份的目标块文件执行备份操作；步骤s400，所述备份节点基于所述中央节点的调度探测保存有所述目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
36.在步骤s100中，中央节点可以对整个分布式数据存储系统中的每个边缘节点的在线及运行状态进行监控，以对多个边缘节点进行管理，示例性地，所述中央节点可采用轮询的方式监控各个所述边缘节点运行状态，也可以是类似“心跳检测”的方式，由各所述边缘节点每隔一定的预设时间向所述中央节点发送通信请求，所述中央节点基于该通信请求监控各所述边缘节点的在线及运行状态。
37.在步骤s200中，响应于监测到所述故障事件，确定待备份的目标块文件；在本实施例中，当所述中央节点监控到所述边缘节点发生故障事件，比如：断电、断网等情形，所述中央节点接收该边缘节点上报的备份请求，或者主动生成备份请求，指向任意一个所述边缘节点，同时确定待备份的目标块文件，以及在该分布式数据存储系统中哪些边缘节点还有空余的存储空间。
38.在步骤s300中，所述中央节点向系统中可响应于数据存储请求的至少一个边缘节点发出调度指令，并指示其中至少一个边缘节点作为备份节点对所述待备份的目标块文件执行备份操作。
39.在步骤s400中，所述备份节点基于所述中央节点的调度探测保存有所述目标块文件目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
40.本实施例中，在步骤s400中，可以通过每个待备份目标块文件的id(即标识符)寻找具有所述待备份目标块文件的所述目标边缘节点。示例性地，可以通过对每个块文件进行散列处理以生成对应的哈希值，并将所述哈希值作为该块文件的具有唯一性特征值属性的标识符。
41.本技术实施例所提出的技术方案，可以应用于有大文件存储需求的技术领域，例如，视频文件存储、数据库文件存储等，解决了现有技术中一旦边缘节点发生故障，导致该节点中存储的块文件备份丢失的问题，实现了对系统中块文件备份完整性及安全存储的功能，以保证在少量的边缘节点出现故障的情况下，不影响数据的获取，保证了数据存储的安全性、读写性及有效性。
42.示例性地，对于该分布式数据存储系统而言，备份数据的完整性是重要的。为了实现这一目的，在该分布式数据存储系统中需要定期进行数据检查，例如，利用所述中央节点中存储的全局信息表来确定各个所述边缘节点中的存储的块文件。
43.图3是图2所示步骤s200的子流程示意图，参阅图3所示，在步骤s200中，所述响应于监测到的故障事件，确定待备份的目标块文件的方法包括：步骤s210，根据所述故障事件所涉及的每个边缘节点确定丢失的块文件；步骤s220，基于所确定的丢失的块文件，所述中央节点确认所述系统中当前剩余的各个块文件的数量，步骤s230，判断是否低于预设阈值，若是，则执行步骤s240，将低于所述预设阈值的块文件确定为所述待备份的目标块文件。
44.具体地，所述中央节点可按照相应的业务类型及根据需求及稳定性动态计算出的各个块文件数量的阈值要求，当发现当前任何一个块文件的数量低于预设阈值时，所述中央节点都要重新分配新的边缘节点去执行备份任务，并将低于所述预设阈值这个块文件作为待备份的目标块文件；例如，所述中央节点可以掌握各个边缘节点中存储的块文件的全局信息，并且在所述中央节点中存储有全局信息表，根据所述故障事件所涉及的每个边缘节点确定丢失的块文件，所述中央节点基于所述全局信息表，可以索引出当前的块文件备份的剩余量以及低于预设阈值的块文件的种类信息，并将低于所述预设阈值的块文件确定为所述待备份的目标块文件。
45.图4是图2所示步骤s300的子流程示意图，参阅图4所示，在步骤s300中，所述中央节点调度至少一个所述边缘节点对所述待备份的目标块文件执行备份操作的步骤包括：步骤s310，所述中央节点基于全局信息表或者基于轮询机制确定并选择所述系统中当前还具有预期的存储空间的至少一个边缘节点作为所述备份节点；步骤s320，所述中央节点基于每个所述备份节点的负载情况确定每个所述备份节点各自需要备份的目标块文件；步骤s330，所述中央节点向每个所述备份节点发出调度指令，以指示每个所述备份节点对其需要备份的目标块文件执行备份操作。
46.具体地，在步骤s310中，所述中央节点基于全局信息表确定并选择所述系统中当前还具有预期的存储空间的至少一个边缘节点作为所述备份节点，其中，在全局信息表中记录有当前各个边缘节点的标配存储空间和已用存储空间，可以通过计算每个边缘节点上标配存储空间和已用存储空间的差值得出每个边缘节点的空余存储空间，来进行判断哪些
边缘节点还具有预期的存储空间作为可响应于数据存储请求的备份节点。在具体实施时，也可以按照空余存储空间的大小进行排序，优先选择具有较大空余存储空间的边缘节点作为备份节点。当然，在一些应用场景中，如果存在多个边缘节点可以响应于数据存储请求，可以形成候选边缘节点列表，再根据空余存储空间大小或者稳定性大小，从中筛选出最优的一个或者多个边缘节点作为备份节点进行块文件备份的存储。此外，还可以是所述中央节点向每个所述边缘节点以轮询的方式发送数据存储请求，示例性地，可以基于地理位置就近原则，向所述故障事件所涉及的每个边缘节点周边的边缘节点询问是否还有预期的存储空间作为响应于数据存储请求的备份节点，以对所述待备份的目标块文件进行备份存储。
47.在步骤s320中，所述中央节点基于每个所述备份节点的负载情况确定每个所述备份节点各自需要备份的目标块文件；示例性地，在本实施例中，所述中央节点通过记录在全局信息表上的各个边缘节点的标配存储空间和已用存储空间，通过计算每个边缘节点上标配存储空间和已用存储空间的差值得出各个边缘节点的空余存储空间，中央节点可根据筛选出的每个备份节点的空余存储空间，确定其向每个备份节点分配的待备份的目标块文件的大小及数量。示例性地，例如，确定300个块文件的保存数量低于阈值可能发生丢失，于是中央节点调度其余有空余存储空间的边缘节点执行备份操作，中央节点根据筛选出的每个备份节点的空余存储空间，分配并指示第n2个边缘节点存储5个块文件，第n3个边缘节点存储10个块文件，第n4个边缘节点存储7个块文件
……
第n100个边缘节点存储4个块文件，直到将所有丢失的300个块文件全部进行保存。
48.在步骤s330中，所述中央节点向每个所述备份节点发出调度指令，以指示每个所述备份节点对其需要备份的目标块文件执行备份操作；示例性地，在本实施例中，中央节点可以根据事先已向每个备份节点分配的待备份的目标块文件的大小及数量的要求，指示每个所述备份节点执行备份操作，接下来，每个所述备份节点向保存有其对应的目标块文件的目标边缘节点获取其需要备份的目标块文件。
49.进一步地，在步骤s400中，所述备份节点基于所述中央节点的调度探测保存有所述目标块文件的目标边缘节点的步骤包括：每个所述备份节点通过与其周边的边缘节点进行信息交互的方式探测并确定保存有该备份节点需要备份的目标块文件的目标边缘节点；和/或，每个所述备份节点从所述中央节点获取保存有该备份节点需要备份的目标块文件的目标边缘节点的地址信息。
50.其中，探测保存有目标块文件的目标边缘节点位置的方法，包括：每个所述备份节点通过与其周边的边缘节点进行信息交互的方式探测保存有该备份节点所需的目标块文件的目标边缘节点；和/或，所述中央节点根据全局信息表探测保存有该备份节点所需的目标块文件的目标边缘节点。在一具体应用场景中，假如每个所述备份节点与其周边的边缘节点进行信息交互后仍未发现保存有所需目标块文件的目标边缘节点，则其接下来可向所述中央节点发出获取保存有其所需的目标块文件的目标缘节点的地址信息的请求，所述中央节点响应于所述请求，向所述备份节点发送所述目标边缘节点的地址信息，当然，也可以由所述中央节点在分配执行目标块文件备份任务的同时向所述备份节点发送保存有该备份节点所需的目标块文件的目标边缘节点的地址信息。
51.进一步地，在步骤s400中，所述从所述目标边缘节点获取所述待备份的目标块文
件，随之将所获取的待备份的目标块文件在本地备份的步骤包括：每个所述备份节点向对应的目标边缘节点发送文件获取请求，以从所述对应的目标边缘节点获取该备份节点需要备份的目标块文件。
52.进一步地，在步骤s400中，所述从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份的步骤还包括：每个所述目标边缘节点响应于接收到的所述文件获取请求而将所述文件获取请求中指示的目标块文件的副本发送给发起所述文件获取请求的备份节点。
53.可选地，基于所获取到的保存该备份节点所需的目标块文件的地址信息，每个所述备份节点向保存有其所需的目标块文件的目标边缘节点发送文件获取请求，以将待备份的目标块文件从所述目标边缘节点备份并存储到所述备份节点。示例性地，在本实施例中，可在与所述备份节点对应所述目标边缘节点中制作所述待备份的目标块文件的副本，将所述待备份的目标块文件的副本存储到所述备份节点上，以保证待备份的目标块文件的原数据不被破坏，避免对分布式数据存储系统中导致的不安全风险。此外，在本实施例中，还包括建立所述目标边缘节点与所述备份节点之间的数据通讯通道，将所述目标块文件的副本通过该数据通讯通道从所述目标边缘节点传输到所述备份节点上。例如，可以根据软件定义网络建立所述目标边缘节点和所述备份节点之间的数据通讯通道，本实施例中，该数据通讯通道可以基于互联网的数据通讯通道也可以示基于无线网络运营商的数据通讯通道。
54.示例性地，根据前文所述，当第n2个边缘节点收到中央节点的来自中央节点的调度指令时，探测保存有所述调度指令指示出的待备份的目标块文件的目标边缘节点，例如，在第n5和第n7个边缘节点上发现有需要的目标块文件，随即，第n2个边缘节点会分别向第n5和第n7个边缘节点发送获取所需的目标块文件的请求，然后将对应该目标块文件的副本保存在第n2个边缘节点上。
55.图5是图2所示的步骤s400的后继步骤的流程示意图，参阅图1至图5所示，在执行步骤s400之后，所述方法还可以包括以下步骤：步骤s501，在所述备份节点将所获取的待备份的目标块文件在本地备份之后，所述备份节点向所述中央节点发送备份操作已完成通知；步骤s502，响应于接收到的所述备份操作已完成通知，所述中央节点更新对应的所述待备份目标块文件的已备份数量值。
56.如上文所述，由于在该分布式数据存储系统中存在多个所述边缘节点，只有部分所述边缘节点作为备份节点，其中，保存有该备份节点对应的目标块文件的目标边缘节点也仅是上述多个所述边缘节点中的一部分，参与了上述执行备份处理的过程，因此，可对上述多个所述边缘节点中的备份节点、目标节点进行分类处理，比如已经参与了备份处理过程的边缘节点，以及未参与备份处理的边缘节点，后续可以对这些已经参与了备份处理过程的边缘节点进行相应的标记，以在下一次出现边缘节点故障事件时，将这些已经标记参与了备份处理过程的边缘节点作为备份节点的优先级顺序降低，以提高该分布式数据存储系统的运行效率。
57.图6是根据本技术实施例提供的又一种分布式数据存储管理方法流程示意图，参阅图6所示，本技术实施例提供一种分布式数据存储管理方法，所述方法由分布式数据存储系统中的中央节点执行，所述系统还包括与所述中央节点网络连接的多个边缘节点，所述方法包括：步骤s610，监测每个所述边缘节点的故障事件；步骤s620，响应于监测到的故障
事件，确定待备份的目标块文件；步骤s630，调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作。
58.在步骤s610中，中央节点可以对整个分布式数据存储系统中的每个边缘节点的在线及运行状态进行监控，以对多个边缘节点进行管理，示例性地，所述中央节点可采用轮询的方式监控各个所述边缘节点运行状态，也可以是类似“心跳检测”的方式，由各所述边缘节点每隔一定的预设时间向所述中央节点发送通信请求，所述中央节点基于该通信请求监控各所述边缘节点的在线状态。
59.在步骤s620中，响应于监测到所述故障事件，确定待备份的目标块文件；在本实施例中，所述中央节点根据监控到发生故障事件所涉及的每个边缘节点，确认丢失的块文件，基于所确定的丢失的块文件，所述中央节点判断所述系统中当前剩余的各个块文件的数量是否低于预设阈值，若是，则将低于所述预设阈值的块文件作为待备份的目标块文件。
60.具体地，所述中央节点可按照相应的业务类型及根据需求及稳定性动态计算出的各个块文件数量的阈值要求，当发现当前任何一个块文件的数量低于预设阈值时，所述中央节点都要重新分配新的边缘节点去执行备份任务，并将低于所述预设阈值这个块文件作为待备份的目标块文件；例如，所述中央节点可以掌握各个边缘节点中存储的块文件的全局信息，并且在所述中央节点中存储有全局信息表，根据所述故障事件所涉及的每个边缘节点确定丢失的块文件，所述中央节点基于所述全局信息表，可以索引出当前的块文件备份的剩余量以及低于预设阈值的块文件的种类信息，并将低于所述预设阈值的块文件确定为所述待备份的目标块文件。
61.在步骤s630中，调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作，包括：所述中央节点基于全局信息表或者基于轮询机制确定并选择所述系统中当前还具有预期的存储空间的至少一个边缘节点作为所述备份节点；所述中央节点基于每个所述备份节点的负载情况确定每个所述备份节点各自需要备份的目标块文件；所述中央节点向每个所述备份节点发出调度指令，以指示每个所述备份节点对其需要备份的目标块文件执行备份操作。
62.本实施例中，中央节点中保存有能够索引各个边缘节点块文件备份的全局信息表，在一具体的应用场景中，该全局信息表中根据每个块文件生成一唯一特性的特征值时，具体可以通过对每个块文件进行安全散列处理生成对应的哈希值，所述哈希值作为唯一性特征值。该哈希值可以作为摘要信息，用于索引每个边缘节点中保存的块文件，基于待备份的目标块文件的摘要信息可索引出保存有该目标块文件的目标边缘节点的地址信息，以便当所述备份节点向所述目标边缘节点获取保存有该备份节点所需的待备份的目标块文件的目标边缘节点的地址信息时，中央节点能够准确的提供。
63.本技术实施例所提供的用于分布式数据存储的管理方法，能够基于发生故障事件所涉及每个边缘节点的丢失的块文件，确定哪些块文件为待存储的目标块文件，通过中央节点调度系统中至少一个边缘节点作为备份节点以对待备份的目标块文件进行备份操作，以保证在少量的边缘节点出现故障的情况下，不影响数据的获取，保证了数据的安全性及完整性。
64.本实施例所提供的分布式数据存储管理方法的由中央节点执行的其他方面与前面所描述的分布式数据存储管理方法相同或相似，在此不再赘述。
65.图7是根据本技术实施例提供的又一种分布式数据存储管理方法流程示意图，参阅图7所示，本技术实施例提供一种分布式数据存储管理方法，所述方法由分布式数据存储系统中的边缘节点执行，所述系统包括至少一个中央节点和与所述至少一个中央节点网络连接的多个边缘节点。所述方法包括：步骤s710，响应于接收到的来自所述中央节点的调度指令，步骤s720，探测保存有所述调度指令中指示出的待备份的目标块文件的目标边缘节点，步骤s730、并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
66.本技术实施例所提供的用于分布式数据存储的管理方法，能够实现边缘节点发生故障事件时，利用系统中有空余存储空间的边缘节点对可能发生丢失的目标块文件进行备份存储，以保证在少量的边缘节点出现故障的情况下，不影响数据的获取，保证了数据的安全性及完整性。
67.本实施例所提供的分布式数据存储管理方法的由边缘节点执行的其他方面与前面所描述的分布式数据存储管理方法相同或相似，在此不再赘述。
68.根据本技术的又一方面，本技术实施例提供一种分布式数据存储系统，所述分布式数据存储系统包括至少一个中央节点和与所述至少一个中央节点网络连接的多个边缘节点，每个边缘节点均存储有多个块文件；所述中央节点监测每个所述边缘节点的故障事件，并且响应于监测到的故障事件确定待备份的目标块文件，随之调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作；作为所述备份节点的每个边缘节点基于所述中央节点的调度探测保存有所述目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
69.本实施例所提出的用于分布式数据存储的管理系统能够实现边缘节点发生故障事件时，中央节点可以调度有空余存储空间的边缘节点执行对可能发生丢失的目标块文件进行备份操作，以保证在少量的边缘节点出现故障的情况下，不影响数据的获取，保证了数据的安全性及完整性。
70.本实施例所提供的分布式数据存储管理系统的其他方面与前面所描述的分布式数据存储管理方法相同或相似，在此不再赘述。
71.图8是根据本技术实施例的一种分布式数据存储管理装置的示意图，参阅图8所示，本技术实施例提供一种分布式数据存储管理装置，所述装置工作在分布式数据存储系统的中央节点上，所述系统还包括与所述中央节点网络连接的多个边缘节点，所述装置包括：监测单元801、判断单元802、以及调度单元803。
72.所述监测单元801，用于监测每个所述边缘节点的故障事件；
73.所述判断单元802，用于响应于监测到的故障事件确定待备份的目标块文件；
74.所述调度单元803，用于调度至少一个所述边缘节点作为备份节点以对所述待备份的目标块文件执行备份操作。
75.可选地，所述装置还包括筛选单元，用于在所述响应于所述调度需求的至少一个所述边缘节点中筛选出至少一个所述边缘节点作为备份节点执行所述备份操作以获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
76.本实施例所提出的用于分布式数据存储的管理装置能够实现在边缘节点发生故
障事件时，通过中央节点调度其余可响应数据存储请求的其余边缘节点对可能发生丢失的目标块文件进行备份存储，以保证在少量的边缘节点出现故障的情况下，不影响数据的获取，保证了数据的安全性及完整性。
77.本实施例所提出的用于分布式数据存储的管理装置的其他方面与前面所描述的分布式数据存储的管理方法相同或相似，在此不再赘述。
78.图9是根据本技术实施例的一种分布式数据存储的管理装置示意图，如图9所示，本技术实施例提供一种分布式数据存储的管理装置，所述装置应用于分布式数据存储系统中的若干边缘节点，所述系统中还包括至少一个中央节点；所述装置包括：通信单元901、接收单元902以及处理单元903。
79.所述通信单元901，用于向所述中央节点报告故障事件；
80.所述接收单元902，用于接收所述中央节点的调度指令；
81.所述处理单元903，用于响应于接收到的所述调度指令探测保存有所述调度指令中指示出的待备份的目标块文件的目标边缘节点，并从所述目标边缘节点获取所述待备份的目标块文件，随之将所获取的待备份的目标块文件在本地备份。
82.本实施例所提出的用于分布式数据存储的管理装置能够实现在边缘节点发生故障事件时，其余边缘节点能够在中央节点的调度指示下，基于探测到的保存有待备份目标块文件的边缘节点，对所述待备份的目标块文件执行备份操作，以保证在少量的边缘节点出现故障的情况下，不影响数据的获取，保证了数据的安全性及完整性。
83.本实施例所提出的用于分布式数据存储管理装置的其他方面与前面所描述的分布式数据存储管理方法相同或相似，在此不再赘述。
84.此外，本技术还提供一种存储介质，其存储有计算机程序，该计算机程序能够被处理器加载以执行前面所描述的任一种用于分布式数据存储管理方法中的步骤。
85.示例性地，该存储介质可以是下列中的任一个：只读存储器(read only memory，rom)、随机存取记忆体(random access memory，ram)、磁盘或光盘等。
86.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
87.以上对本技术实施例所提供的分布式数据存储系统、管理方法、装置及存储介质中进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例的技术方案的范围。