一种数据冗余方法、装置、设备、存储介质及程序产品与流程

摘要: 本申请涉及数据存储,尤其涉及一种数据冗余方法、装置、设备、存储介质及程序产品。背景技术:1、分布式存储系统的节点可能会遇到多种类型的故障,从而导致节点上的数据丢...
一种数据冗余方法、装置、设备、存储介质及程序产品与流程

本申请涉及数据存储,尤其涉及一种数据冗余方法、装置、设备、存储介质及程序产品。

背景技术:

1、分布式存储系统的节点可能会遇到多种类型的故障,从而导致节点上的数据丢失。为了保障节点上的数据的可用性,通常采取容错技术。其中,数据冗余是容错的主要方法。数据冗余包括数据复制与纠删码。针对纠删码设计,相关技术采取了无条带的数据放置方案。然而,相关技术存在较大的局限性,不能适用于任意物理节点数的集群。因此,如何解决上述技术缺陷已成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本申请提供了一种数据冗余方法、装置、设备、存储介质及程序产品,以至少解决相关技术不能适用于任意物理节点数的集群的问题。

2、本申请提供了一种数据冗余方法,包括:

3、在各物理节点上分别创建多个虚拟节点;

4、将虚拟节点划分为多个对称平衡不完全块设计组;对称平衡不完全块设计组是指所包含的虚拟节点中的任意两个虚拟节点不属于同一个物理节点的虚拟节点组合;

5、在所述对称平衡不完全块设计组内确定所述虚拟节点对应的复制目标虚拟节点与复制源虚拟节点;

6、从所述虚拟节点对应的复制目标虚拟节点中选取复制目标虚拟节点,并将所述虚拟节点上的数据备份发送至所选取的复制目标虚拟节点;

7、接收并在所述虚拟节点缓存来自所述虚拟节点对应的复制源虚拟节点的数据备份,以及在所述虚拟节点保存根据接收的数据备份生成的校验块。

8、本申请还提供了一种数据冗余装置,包括:

9、创建模块,用于在各物理节点上分别创建多个虚拟节点;

10、划分模块,用于将虚拟节点划分为多个对称平衡不完全块设计组;对称平衡不完全块设计组是指所包含的虚拟节点中的任意两个虚拟节点不属于同一个物理节点的虚拟节点组合;

11、确定模块,用于在所述对称平衡不完全块设计组内确定所述虚拟节点对应的复制目标虚拟节点与复制源虚拟节点;

12、发送模块,用于从所述虚拟节点对应的复制目标虚拟节点中选取复制目标虚拟节点,并将所述虚拟节点上的数据备份发送至所选取的复制目标虚拟节点;

13、接收模块,用于接收并在所述虚拟节点缓存来自所述虚拟节点对应的复制源虚拟节点的数据备份,以及在所述虚拟节点保存根据接收的数据备份生成的校验块。

14、本申请还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述任一种数据冗余方法的步骤。

15、本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述任一种数据冗余方法的步骤。

16、本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一种数据冗余方法的步骤。

17、有益效果是:本申请提供的数据冗余方法,为每个物理节点创建虚拟节点,并将虚拟节点分组后,在组内确定虚拟节点对应的复制目标虚拟节点与复制源虚拟节点,进而对虚拟节点与对应的复制目标虚拟节点与复制源虚拟节点彼此进行数据的备份。这样通过虚拟节点将物理节点数与对称平衡不完全块设计组成员数解耦,适用于任意物理节点数的集群,并且支持增加或移除物理节点。

18、本申请所提供的数据冗余装置、设备、存储介质及程序产品,同样具有上述技术效果。

1.一种数据冗余方法,其特征在于,包括:

2.根据权利要求1所述的数据冗余方法,其特征在于,还包括:

3.根据权利要求1所述的数据冗余方法,其特征在于,还包括:

4.根据权利要求1所述的数据冗余方法,其特征在于,将虚拟节点划分为多个对称平衡不完全块设计组包括:

5.根据权利要求4所述的数据冗余方法,其特征在于,根据所述虚拟节点的编号、物理节点的总数以及在一个物理节点所创建的虚拟节点的个数确定所述虚拟节点所属的对称平衡不完全块设计组的编号包括:

6.根据权利要求1所述的数据冗余方法,其特征在于,在所述对称平衡不完全块设计组内确定所述对称平衡不完全块设计组内虚拟节点对应的复制目标虚拟节点与复制源虚拟节点包括:

7.根据权利要求6所述的数据冗余方法,其特征在于,所述对称平衡不完全块设计矩阵中各行与各列均有预设个数个1,其余位置为0,对于任意两行有一列使得这两行的对应位置均为1,且所述对称平衡不完全块设计矩阵的对角线上的元素的值均为0。

8.根据权利要求7所述的数据冗余方法,其特征在于,根据所述虚拟节点的序号从所述对称平衡不完全块设计矩阵中选取虚拟节点,得到所述虚拟节点的复制源集合包括:

9.根据权利要求7所述的数据冗余方法,其特征在于,根据所述虚拟节点的序号从所述对称平衡不完全块设计矩阵中选取虚拟节点,得到所述虚拟节点的复制目标集合包括:

10.根据权利要求1所述的数据冗余方法,其特征在于,还包括:

11.根据权利要求2所述的数据冗余方法,其特征在于,还包括:

12.根据权利要求3所述的数据冗余方法,其特征在于,还包括:

13.根据权利要求1所述的数据冗余方法,其特征在于,还包括:

14.根据权利要求1所述的数据冗余方法,其特征在于,在各物理节点上分别创建多个虚拟节点包括:

15.根据权利要求1所述数据冗余方法,其特征在于,还包括:

16.根据权利要求1所述的数据冗余方法,其特征在于,从所述虚拟节点对应的复制目标虚拟节点中选取复制目标虚拟节点,并将所述虚拟节点上的数据备份发送至所选取的复制目标虚拟节点包括:

17.一种数据冗余装置,其特征在于,包括:

18.一种电子设备,其特征在于,包括:

19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至16任一项所述数据冗余方法的步骤。

20.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至16任一项所述数据冗余方法的步骤。