一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据备份方法、装置及电子设备与流程

2022-03-23 07:26:56 来源:中国专利 TAG:


1.本发明涉及数据备份技术领域,具体涉及数据备份方法、装置及电子设备。


背景技术:

2.现有的数据备份算法,一般都是基于系统文件读写接口进行读取源数据磁盘,然后写入到备份目标磁盘。这种方案是基于操作提供的读写文件接口实现,使用简单,对于一般的小型文件,或者要求备份速率宽松的场景而已显然是一种平衡成本,系统复杂度和工程效率最好的方案。
3.为了更好的提供服务和避免备份消耗的资源影响业务方,在业务服务时间段是不能备份的,所以实际场景是备份通常在后半夜进行,并且通常需要在规定的几个小时内完成备份,这对于单个备份数据源大于2t,备份时间段要求严苛的场景,如果继续采用基于系统提供的读写文件接口进行备份处理很难满足在规定时间段内完成备份要求的。这是由于现有的备份方案备份速度较慢且存储空间被浪费,具体地,实际上磁盘并不总是存满数据的,因此磁盘中有很多空白的地方,即可理解为无效数据,现有的基于系统文件读写接口读取时也读取了这些无效数据,可能实际上一个2t的磁盘实际数据只有10gb,但是备份读取了2tb数据,这样就会严重影响备份速度的,因为10gb数据之外的无效数据实际是不需要读取备份的;同时,由于现有的备份方案是在备份存储初始化时就会申请一块和源数据磁盘一样大小的存储空间,主要目的是用于后继恢复使用,但是实际上很长时间是用不了这么大的存储空间的,这就导致存储空间被浪费。


技术实现要素:

4.有鉴于此,本发明实施例提供了一种数据备份方法、装置及电子设备,以解决数据备份速度慢且存储空间浪费的问题。
5.根据第一方面,本发明实施例提供了一种数据备份方法,包括:
6.获取待备份数据对应的元信息,所述元信息包括实际大小;
7.基于所述实际大小申请至少一个备份空间;
8.对所述待备份数据进行解析,确定所述待备份数据中各个真实子数据的偏移位置和偏移量;
9.基于所述各个真实子数据的偏移位置和偏移量读取所述各个真实子数据,并利用所述至少一个备份空间对所述各个真实子数据进行存储。
10.本发明实施例提供的数据备份方法,利用待备份数据的实际大小申请备份空间,可以避免备份空间资源的浪费;且在读取数据时是基于各个真实子数据的偏移位置和偏移量进行的,使得备份时不需要寻址和传输空白数据从而提高了备份速度。
11.结合第一方面,在第一方面第一实施方式中,所述基于所述各个真实子数据的偏移位置和偏移量读取所述各个真实子数据,并利用所述至少一个备份空间对所述各个真实子数据进行存储,包括:
12.初始化预设数量的逻辑数据桶,以将各个所述逻辑数据桶与所述至少一个备份空间对应;
13.基于所述预设数量的逻辑数据桶以及所述各个真实子数据的偏移位置和偏移量,读取所述各个真实子数据;
14.基于各个所述逻辑数据桶与所述备份空间的对应关系,对所述真实子数据进行存储。
15.本发明实施例提供的数据备份方法,因为数据存储的物理格式有很多中,有些会要求存储在私有云和公有云,它们的接口都是不同的,那么不同的物理存储接口只需要实现各自的驱动就可以对接10个逻辑数据桶,从而提高该备份方法的可扩展性和适应性。
16.结合第一方面第一实施方式,在第一方面第二实施方式中,所述基于所述预设数量的逻辑数据桶以及所述各个真实子数据的偏移位置和偏移量,读取所述各个真实子数据,包括:
17.将所述待备份数据划分为所述预设数量的数据段,以确定各个所述逻辑数据桶的初始化偏移地址;
18.基于各个所述逻辑数据桶的所述初始化偏移地址以及所述各个真实子数据的偏移位置和偏移量,并行读取所述各个真实子数据。
19.本发明实施例提供的数据备份方法,通过各个逻辑数据桶进行待备份数据进行并行读取,提高了数据备份的效率。
20.结合第一方面第一实施方式,在第一方面第三实施方式中,所述基于所述实际大小申请至少一个备份空间,包括:
21.当所述实际大小大于预设值时,申请所述预设数量的备份空间;
22.当所述实际大小小于或等于所述预设值时,申请一个所述备份空间。
23.本发明实施例提供的数据备份方法,在待备份数据的实际大小较小时,若采用多个备份空间进行备份会带来较多的小文件,因此,在这种情况下仅申请一个备份空间进行数据备份,可以提高数据备份效率。
24.结合第一方面第一实施方式,在第一方面第四实施方式中,所述基于各个所述逻辑数据桶与所述备份空间的对应关系,对所述真实子数据进行存储,包括:
25.将所述逻辑数据桶读取到的真实子数据写入对应的备份空间中;
26.分别对各个所述备份空间中的数据进行压缩,确定压缩数据。
27.本发明实施例提供的数据备份方法,对采用预设数量的逻辑数据桶的设计概念,因为小文件压缩和存储比大文件更快,使得在数据解压缩过程相对现有方案要快n倍以上,n为预设数量。
28.结合第一方面,在第一方面第五实施方式中,所述方法还包括:
29.将所述待备份数据的元信息写入元数据文件中;
30.将所述待备份数据中各个真实子数据的偏移位置和偏移量写入数据元文件中;
31.对所述元数据文件以及所述数据元文件进行存储。
32.本发明实施例提供的数据备份方法,对待备份数据的元信息以及各个真实子数据的偏移位置和偏移量进行存储,以便后续在数据恢复时能够准确恢复出数据。
33.结合第一方面第五实施方式,在第一方面第六实施方式中,所述方法还包括:
34.当需要进行灾备数据恢复时,获取待恢复数据对应的目标备份空间;
35.对所述目标备份空间中的压缩数据进行解压缩;
36.基于所述元数据文件以及所述数据元文件对解压缩后的数据进行还原,确定出所述待恢复数据。
37.本发明实施例提供的数据备份方法,在数据恢复时,对目标备份空间中的压缩数据进行并行解压缩后再还原,可以提高灾备数据恢复的效率。
38.根据第二方面,本发明实施例还提供了一种数据备份装置,包括:
39.获取模块,用于获取待备份数据对应的元信息,所述元信息包括实际大小;
40.申请模块,用于基于所述实际大小申请至少一个备份空间;
41.解析模块,用于对所述待备份数据进行解析,确定所述待备份数据中各个真实子数据的偏移位置和偏移量;
42.备份模块,用于基于所述各个真实子数据的偏移位置和偏移量读取所述各个真实子数据,并利用所述至少一个备份空间对所述各个真实子数据进行存储。
43.根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的数据备份方法。
44.根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的数据备份方法。
45.需要说明的是,本发明实施例提供的数据备份装置、电子设备及计算机可读存储介质的有益效果,请参见上文中数据备份方法的对应有益效果的描述,在此不再赘述。
附图说明
46.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
47.图1是根据本发明实施例的数据备份方法的流程图;
48.图2是根据本发明实施例的元信息的获取示意图;
49.图3是根据本发明实施例的数据备份方法的流程图;
50.图4是根据本发明实施例的初始化10个逻辑数据桶的示意图;
51.图5是根据本发明实施例的数据备份方法的流程图;
52.图6是根据本发明实施例的数据备份方法的流程图;
53.图7是根据本发明实施例的数据元文件索引的示意图;
54.图8是根据本发明实施例的数据备份装置的结构框图;
55.图9是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
56.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
57.本发明实施例提供的数据备份方法,是基于待备份数据的实际大小进行备份空间的申请,以防止备份空间资源的浪费;并利用待备份数据中的真实子数据的偏移地址和偏移量进行真实子数据的读取,避免读取到无效数据,提高了备份效率。
58.进一步地,该数据备份方法还引入了逻辑数据桶的概念,利用逻辑数据桶进行待备份数据的并发读取,不仅提高了处理效率,还可以避免由于不同的备份空间的接口不同导致的读取方式不同的影响,可以提高本方案的可扩展性和适应性。
59.根据本发明实施例,提供了一种数据备份方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
60.在本实施例中提供了一种数据备份方法,可用于上述的电子设备,如客户端、服务器等,图1是根据本发明实施例的数据备份方法的流程图,如图1所示,该流程包括如下步骤:
61.s11,获取待备份数据对应的元信息。
62.其中,所述元信息包括实际大小。
63.电子设备在对待备份数据进行备份时,先读取存储待备份数据的目标数据磁盘的元信息,包括实际大小,即待备份数据的实际大小;以及,目标数据磁盘的驱动格式、目标数据磁盘的大小、盘符位置、盘符名称等信息。其中,待备份数据的实际大小用于申请备份空间。
64.进一步地,读取到的元信息还用于在数据恢复时数据盘初始化信息;在存储备份数据时用于备份逻辑数据桶划分数据段;有了这份元信息,初始化备份数据存储时,只需要实际大小的备份空间即可。
65.在磁盘中写入数据是以簇的形式记录的,并且一个簇只能存放一个文件数据,在写入数据时磁盘会在fat表中记录当前簇已经有文件占用的标识,那么通过统计所有标识占用的簇数,再通过读取磁盘分区信息的簇大小,计算得到文件大小=簇数*磁盘簇大小,这个一般情况下会大于实际文件的大小,因为不管文件有多小都会占用一个簇大小的位置,但是对本方案而言是不影响的。基于此,电子设备利用簇数*磁盘簇的大小,即可确定出待备份数据的实际大小。
66.如图2所示,若本次备份需要对3个数据盘中的待备份数据进行备份,分别为数据盘1、数据盘2、以及数据盘3。那么,电子设备先分别读取各个数据盘元信息,分别得到数据盘1元信息、数据盘2元信息以及数据盘3元信息。
67.当然,所获取的元信息的具体内容可以根据实际需求进行设置,在此对其并不做任何限定。其中,读取元信息的对象并不限于上文所述的数据盘,也可以是其他用于存储待备份数据的空间。
68.s12,基于实际大小申请至少一个备份空间。
69.电子设备申请与实际大小对应的备份空间,该备份空间可以是一个,即该一个备份空间的大小与实际大小对应;也可以申请多个备份空间,这多个备份空间的大小之和与实际大小对应。具体所申请的备份空间的数量是依据实际需求设置的,只需保证所有备份空间的大小是与实际大小对应的即可。
70.s13,对待备份数据进行解析,确定待备份数据中各个真实子数据的偏移位置和偏移量。
71.电子设备利用相应的文件系统对待备份数据进行解析,确定出待备份数据中各个真实子数据的偏移位置和偏移量。由于在待备份数据中可能包括多个文件,各个文件在目标数据磁盘中进行存储时,可能是连续存储的,也可以能分片存储的,因此,通过对待备份数据进行解析,就可以确定各个文件的偏移位置和偏移量。当然,对应于一个文件而言,可以是一个偏移位置和偏移量,也可以是多个偏移位置和偏移量。
72.关于具体的解析过程在此对其并不做任何限定,根据实际需求进行设置。
73.s14,基于各个真实子数据的偏移位置和偏移量读取各个真实子数据,并利用至少一个备份空间对各个真实子数据进行存储。
74.电子设备利用各个真实子数据的偏移位置和偏移量,就可以从目标数据磁盘中读取出待备份数据的各个真实子数据。对于各个真实子数据的读取过程可以是并行的,也可以是依次读取的,等等。在读取出各个真实子数据之后,电子设备利用上述s12中申请的至少一个备份空间对其进行存储。
75.其中,具体的存储方式是与所申请的备份空间相关,若备份空间是多个,就可以进行并行读取与存储;若备份空间是一个,可以依次读取与存储,等等。备份空间的形式可以是本地的私有云,也可以是共有云,或本地的文件系统的等等。
76.关于该步骤具体将在下文中进行详细描述。
77.本实施例提供的数据备份方法,利用待备份数据的实际大小申请备份空间,可以避免备份空间资源的浪费;且在读取数据时是基于各个真实子数据的偏移位置和偏移量进行的,使得备份时不需要寻址和传输空白数据从而提高了备份速度。
78.在本实施例中提供了一种数据备份方法,可用于上述的电子设备,如客户端、服务器等,图3是根据本发明实施例的数据备份方法的流程图,如图3所示,该流程包括如下步骤:
79.s21,获取待备份数据对应的元信息。
80.其中,所述元信息包括实际大小。
81.详细请参见图1所示实施例的s11,在此不再赘述。
82.s22,基于实际大小申请至少一个备份空间。
83.具体地,上述s22包括:
84.s221,判断实际大小是否大于预设值。
85.预设值是可以是根据经验值设置的,也可以是根据工程业务需求设置的,等等。当实际大小大于预设值时,执行s222;否则,执行s223。
86.s222,申请预设数量的备份空间。
87.s223,申请一个备份空间。
88.例如,预设值为1gb,电子设备将待备份数据的实际大小与1gb进行比较,若待备份数据的实际大小大于1gb,则申请预设数量的备份空间;否则,申请一个备份空间即可。这是由于,当待备份数据的实际大小小于或等于预设值时,对待备份数据进行整体读取或划分成数据段并发存储,其差别不是很大,反而划分数据端存储会带来很多的小文件,带来文件管理的问题。基于此,在待备份数据的实际大小小于或等于预设值时,电子设备仅申请一个备份空间。
89.其中,预设数量是基于实际需求设置的,例如,10个,8个等等。
90.s23,对待备份数据进行解析,确定待备份数据中各个真实子数据的偏移位置和偏移量。
91.详细请参见图1所示实施例的s13,在此不再赘述。
92.s24,基于各个真实子数据的偏移位置和偏移量读取各个真实子数据,并利用至少一个备份空间对各个真实子数据进行存储。
93.具体地,上述s24包括:
94.s241,初始化预设数量的逻辑数据桶,以将各个逻辑数据桶与至少一个备份空间对应。
95.因为传统方案是一个整体,这在数据压缩解压缩方面很慢,并且数据一旦损坏就都损坏了,造成损坏几率很大。所以该方法提出切分成多个文件,这样即可以提高压缩和解压缩的效率,因为它们可以并行,并且小文件的压缩解压缩比单独的大文件要更快,同时冗余存储时就算有一个部分损坏了也可以更容易通过它的另外一个冗余替换从而可以降低文件损坏。基于此,在本方案中提出了逻辑数据桶的处理方式。
96.同时,由于各个存储空间的物理格式很多种,有些会要求存储在私有云和公有云,它们的接口都是不同的那么不同的物理存储接口只需要实现各自的驱动就可以对接这些逻辑数据桶,从而提高本方案的可扩展性和适应性,因此,本方案采用的逻辑桶,而并非是物理桶。
97.在数据备份之前,电子设备先配置得到预设数量的逻辑数据桶,例如,10个逻辑数据桶,通过实际的工程实践和解压缩速率比较得到划分10个逻辑数据桶是最好的测试方案。需要说明的是,逻辑数据桶是事先配置得到的,不区分待备份数据的大小,但是逻辑数据桶后面链接的备份空间会因为数据大小而申请不同的数量。
98.在数据备份时,电子设备对预设数量的逻辑数据桶进行初始化,将各个逻辑数据桶与备份空间进行对应。如上文所述,当申请1个备份空间时,将上述的预设数量的逻辑数据桶均对应于这个备份空间;当申请预设数量的备份空间时,分别将各个逻辑数据桶与各个备份空间对应。
99.如上文所述,逻辑数据桶的数量可以根据实际需求进行设置,如图4所示,在下文的描述中以10个逻辑数据桶,且预设值为1gb为例。对逻辑数据桶进行初始化,其作用在于,根据10个逻辑数据桶的初始化偏移位置,可以发起1-10个备份进行同时进行并发备份;根据10个逻辑数据桶将待备份数据存成10块分别进行压缩存储。如果待备份数据的实际大小小于1gb,则10个逻辑数据桶实际对应于一个备份空间。
100.s242,基于预设数量的逻辑数据桶以及各个真实子数据的偏移位置和偏移量,读取各个真实子数据。
101.电子设备对目标数据磁盘进行寻址,记录各个真实子数据的偏移位置和偏移量,存储为数据元文件。数据元文件结构是一个数组,每个数据索引存储一个各个真实子数据的偏移位置和偏移量,如图7所示,目标数据磁盘上的数据按作用不同主要有mbr区,dbr区,fat区,dir区和data区,通过读取磁盘的dbr区的bpb分区参数记录表,得到当前磁盘的起始扇区,结束扇区,文件存储格式,根目录大小;再集合磁盘fat区和dir区定位每个文件的起始单元,文件大小,这些就是数据磁盘中真实数据的偏移位置和数据大小。电子设备根据这些偏移位置和偏移量就可以在data区读取到各个真实子数据。
102.电子设备将记录的偏移位置和各个真实子数据的偏移量,写入初始化的逻辑数据桶中,根据逻辑数据桶的数量,进行并发写入。这个过程用的是寻址得到的各个真实子数据的偏移位置和文件大小的偏移量进行备份写入的,不再额外寻址空白数据区和备份空白数据区,节省了备份时间以及备份带宽。
103.在本实施例的一些可选实施方式中,上述s242可以包括:
104.(1)将待备份数据划分为预设数量的数据段,以确定各个逻辑数据桶的初始化偏移地址。
105.(2)基于各个逻辑数据桶的初始化偏移地址以及各个真实子数据的偏移位置和偏移量,并行读取各个真实子数据。
106.具体地,电子设备利用逻辑数据桶的数量对待备份数据进行划分,划分得到预设数量的数据段。其中,划分得到的数据段的长度可以是相同,也可以是不同的。在划分时,尽量将属于同一真实子数据的数据划分到同一数据段中。
107.划分完成之后,各个数据段的起始偏移地址即为各个逻辑数据桶的初始化偏移地址。各个逻辑数据桶基于各个真实子数据的偏移位置和偏移量,并行读取各个真实子数据。
108.通过各个逻辑数据桶进行待备份数据进行并行读取,提高了数据备份的效率。
109.s243,基于各个逻辑数据桶与备份空间的对应关系,对真实子数据进行存储。
110.如上文所述,在对逻辑数据桶进行初始化之后,将各个逻辑数据桶与备份空间进行对应。在进行存储时,每个备份空间对应于一个存储队列,各个逻辑数据桶将读取到的真实子数据加入对应的备份空间的存储队列中,以进行存储。
111.若所有逻辑数据桶对应一个备份空间,则将所有逻辑数据桶中的真实子数据加入到同一个存储队列中;若各个逻辑数据桶分别对应一个备份空间,则分别将各个逻辑数据桶中的真实子数据加入到对应的存储队列中。
112.在本实施例的一些可选实施方式中,上述s243可以包括:
113.(1)将逻辑数据桶读取到的真实子数据写入对应的备份空间中。
114.(2)分别对各个备份空间中的数据进行压缩,确定压缩数据。
115.当待备份数据都成功写入各个逻辑数据桶之后,根据用户对数据的压缩要求,如果有btrfs和zfs压缩算法,选择相应的压缩算法分10个数据块进行压缩。这10个逻辑数据桶是根据备份存储对象的抽象,如果备份存储对象是对象存储,那么10个逻辑数据桶就是对应的数据块;如果是数据盘,则是数据文件。
116.对采用预设数量的逻辑数据桶的设计概念,因为小文件压缩和存储比大文件更快,使得在数据解压缩过程相对现有方案要快n倍以上,n为预设数量。
117.本实施例提供的数据备份方法,在待备份数据的实际大小较小时,若采用多个备
份空间进行备份会带来较多的小文件,因此,在这种情况下仅申请一个备份空间进行数据备份,可以提高数据备份效率。因为数据存储的物理格式有很多中,有些会要求存储在私有云和公有云,它们的接口都是不同的,那么不同的物理存储接口只需要实现各自的驱动就可以对接10个逻辑数据桶,从而提高该备份方法的可扩展性和适应性。
118.在本实施例的一个具体应用实例中,如图5所示,该数据备份方法包括:
119.步骤1:定时备份触发数据备份任务,并向备份服务下发要备份任务;
120.步骤2:备份服务服务根据任务id,读取此次要备份的数据盘,并为每个数据盘启动一个数据备份子进程;
121.步骤3:数据备份子进程读取当前数据盘的元数据,写入元数据文件中,并并保存此元数据文件;
122.步骤4:根据数据盘元数据申请10个逻辑数据桶并申请实际数据大小的备份空间,如果申请失败则备份失败,若申请成功则判断当前实际数据大小是否小于1gb,如果是,则10个逻辑数据通都指向这个备份空间,否则对待备份数据等份10份存储,分别将10个逻辑数据桶对接10个备份空间;
123.步骤5:备份服务器读取当前数据盘的磁盘分区,并进行逻辑处理之后得到当前数据盘的真实文件偏移位置和偏移量,并将写入文件中,这个文件即数据元文件,并将其存储在备份空间;
124.步骤6:根据数据元文件并发10个数据进程进行备份数据到对应的备份空间;
125.步骤7:备份数据成功写入完成之后,默认使用zfs压缩算法分别对10个备份空间中的数据进行压缩;
126.步骤8:将本次得到的数据盘元文件,数据元文件和压缩数据,统一进行gzip压缩成tar并归档到对应的存储空间;
127.步骤9:备份结束。
128.本方案先通过读取数据分区记录的盘信息得到待备份数据中各个真实子数据的偏移位置和偏移量,使得备份时不需要寻址和传输空白数据从而提高了备份速度。当数据盘数据量小的时候,进行完全备份的速度非常快。本方案只存储真实子数据,所以只需要申请待备份数据的实际大小的存储空间即可。如果源数据盘为2t,而待备份数据的实际大小只有10gb,则本方案只需要申请一个10gb空间的备份空间即可,而不需要申请一个2t大小的备份空间。采用10个逻辑数据桶的设计概念,因为小文件压缩和存储比大文件更快,因此能够使得在数据解压缩过程相对现有方案要快10倍以上。
129.在本实施例中提供了一种数据备份方法,可用于上述的电子设备,如客户端、服务器等,图6是根据本发明实施例的数据备份方法的流程图,如图6所示,该流程包括如下步骤:
130.s31,获取待备份数据对应的元信息。
131.其中,所述元信息包括实际大小。
132.详细请参见图1所示实施例的s11,在此不再赘述。
133.s32,基于实际大小申请至少一个备份空间。
134.详细请参见图3所示实施例的s22,在此不再赘述。
135.s33,对待备份数据进行解析,确定待备份数据中各个真实子数据的偏移位置和偏
移量。
136.详细请参见图1所示实施例的s13,在此不再赘述。
137.s34,基于各个真实子数据的偏移位置和偏移量读取各个真实子数据,并利用至少一个备份空间对各个真实子数据进行存储。
138.在备份处理时,除了对待备份数据进行存储,还对元数据文件以及数据元文件进行存储。具体地,
139.(1)将待备份数据对应的元信息写入元数据文件中;
140.(2)将待备份数据中各个真实子数据的偏移位置和偏移量写入数据元文件中;
141.(3)对元数据文件以及数据元文件进行存储。
142.具体地,元数据文件:指保存了目标数据磁盘的大小,格式,位置,盘符,实际数据大小等信息的文件,用于申请备份数据物理存储大小和还原重建目标数据磁盘时所需要的目标数据磁盘的原始信息。数据元文件:指保存了各个真实子数据在目标数据磁盘中的偏移位置和偏移量,以及备份之后的10个逻辑数据桶的分段号和桶的顺序信息,用于数据恢复。
143.对待备份数据的元信息以及各个真实子数据的偏移位置和偏移量进行存储,以便后续在数据恢复时能够准确恢复出数据。
144.其余详细请参见图3所示实施例的s24,在此不再赘述。
145.s35,当需要进行灾备数据恢复时,获取待恢复数据对应的目标备份空间。
146.当需要进行灾备数据恢复时,基于恢复需求确定需要恢复的是所有数据,还是部分数据。由于在对待备份数据进行备份时,是划分成至少一个备份空间进行存储的,若仅需要恢复部分的数据,就可以仅对这部分数据进行恢复而不需恢复所有的数据。基于此,在需要进行灾备数据恢复时,电子设备先确定待恢复数据对应的目标备份空间。
147.s36,对目标备份空间中的压缩数据进行解压缩。
148.s37,基于元数据文件以及数据元文件对解压缩后的数据进行还原,确定出待恢复数据。
149.由于各个备份空间中的数据是经过压缩后再存储的,因此,需要先对目标备份空间中的压缩数据进行解压缩。再利用基于元数据文件以及数据元文件对解压缩后的数据进行还原,确定出待恢复数据。
150.具体地,灾备数据恢复时,当需要对所有备份空间中的数据进行恢复时,、对10个逻辑数据桶同时进行解压缩,区别与现有方案的是,本方案采用将待备份数据划分成10个逻辑数据桶进行压缩,解压缩,其速度将会原源数据直接压缩解压缩的10倍。恢复之后,按照元数据文件申请相同规格参数的数据盘并初始化,然后根据数据元文件将解压缩的数据按照原来的偏移位置进行复制还原,即可还原出所有的待备份数据。
151.本实施例提供的数据备份方法,在数据恢复时,对目标备份空间中的压缩数据进行并行解压缩后再还原,可以提高灾备数据恢复的效率。
152.在本实施例中还提供了一种数据备份装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
153.本实施例提供一种数据备份装置,如图8所示,包括:
154.获取模块41,用于获取待备份数据对应的元信息,所述元信息包括实际大小;
155.申请模块42,用于基于所述实际大小申请至少一个备份空间;
156.解析模块43,用于对所述待备份数据进行解析,确定所述待备份数据中各个真实子数据的偏移位置和偏移量;
157.备份模块44,用于基于所述各个真实子数据的偏移位置和偏移量读取所述各个真实子数据,并利用所述至少一个备份空间对所述各个真实子数据进行存储。
158.本实施例中的数据备份装置是以功能单元的形式来呈现,这里的单元是指asic电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
159.上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
160.本发明实施例还提供一种电子设备,具有上述图8所示的数据备份装置。
161.请参阅图9,图9是本发明可选实施例提供的一种电子设备的结构示意图,如图9所示,该电子设备可以包括:至少一个处理器51,例如cpu(central processing unit,中央处理器),至少一个通信接口53,存储器54,至少一个通信总线52。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口53可以包括显示屏(display)、键盘(keyboard),可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速ram存储器(random access memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图8所描述的装置,存储器54中存储应用程序,且处理器51调用存储器54中存储的程序代码,以用于执行上述任一方法步骤。
162.其中,通信总线52可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
163.其中,存储器54可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:ram);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard disk drive,缩写:hdd)或固态硬盘(英文:solid-state drive,缩写:ssd);存储器54还可以包括上述种类的存储器的组合。
164.其中,处理器51可以是中央处理器(英文:central processing unit,缩写:cpu),网络处理器(英文:network processor,缩写:np)或者cpu和np的组合。
165.其中,处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:asic),可编程逻辑器件(英文:programmable logic device,缩写:pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:cpld),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:fpga),通用阵列逻辑(英文:generic array logic,缩写:gal)或其任意组合。
166.可选地,存储器54还用于存储程序指令。处理器51可以调用程序指令,实现如本申
请任一实施例中所示的数据备份方法。
167.本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的数据备份方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)、随机存储记忆体(random access memory,ram)、快闪存储器(flash memory)、硬盘(hard disk drive,缩写:hdd)或固态硬盘(solid-state drive,ssd)等;所述存储介质还可以包括上述种类的存储器的组合。
168.虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献